大数据

   在我们的缺陷库中，有一种缺陷状态为“待提交”，这是一种最终状态，并且表明这个缺陷实际上是无效的，不会计入到最终的缺陷报告中。    一个项目开始了，在几个版本之后，缺陷库中存在数个“…

1. order by     Hive中的order by跟传统的sql语言中的orderby作用是一样的，会对查询的结果做一次全局排序，所以说，只有hive的sql中制定了orderby所有的数据都会到同一个reducer进行处理（不管有多少ma…

大数据的概念起源其实就和时间联系得非常紧密，一方面是单位时间内的数据种类和数据量，另一方面是历史时间内的数据积累，这两方面的交叉复合增长才使得数据可能被称为大。   从古至今，人类个体在单位时间内…

Spring Cloud作为一套微服务治理的框架，几乎考虑到了微服务治理的方方面面，之前也写过一些关于Spring Cloud文章，主要偏重各组件的使用，本次分享主要解答这两个问题：Spring Cloud在微服务的架构中都做了哪些事…

[TOC] 一、MapReduce跑得慢的原因 1）计算机性能​ CPU、内存、磁盘健康、网络。文件系统可以设置文件访问时，不更新atime 2）I/O 操作优化（1）数据倾斜（2）map和reduce数设置不合理（3）map运行时间太长，导致red…

最近抖音有首歌很火，“想摘下星星给你，摘下月亮给你……”，是不是也想摘下超美的月亮送给你的男/女朋友呢？ 今天就来教大家画一个这样的超美弯弯月亮，不难，用PPT就可以做到哦，快get起来，你也可以摘下月亮送给TA…

“自动化测试”浅析 对于“自动化测试”的误解 很多人认为“自动化测试”就是自动执行并自动分析程序正确与否的测试方法，那让我们看看事实是否如此吧。 以百度(www.baidu.com)搜索…

Sqoop数据分析引擎安装与使用  ==>什么是Sqoop ?       Sqoop 是一个开源的数据处理引擎，主要是通过  JDBC 为媒介， 在Hadoop（Hive）与 传统的关系型…

背景: FTP主要用于文件上传和下载. FTP在监控录像视频集合回放还是有很多用武之地的. 在高清化的视频监控行业的主流视频存储方案中, 主要以720p, 1080p为主流, 4k及以上为新秀, 高清必定会促使视频码流越来越大,存…

在OPD中，我们使用了ArchiMate 作为架构语言，这是一个高层、简单的描述语言，之前我也写过一系列相关的文字， 架构语言ArchiMate － 开篇：企业架构语言ArchiMate介绍 架构语言ArchiMate － 语言结构（Language St…