开源

一、HDFS基本概念 HDFS全称是Hadoop Distributed System。HDFS是为以流的方式存取大文件而设计的。适用于几百MB，GB以及TB，并写一次读多次的场合。而对于低延时数据访问、大量小文件、同时写和任意的文件修改，则…

刚开始直接scrapy startproject [名称] 创建项目才遇到挺多问题的，执行这个又会提示那个问题，解决后就觉得还好还好啦 1.pip install scrapy 提示pip 版本要升级； You are using pip version 10.0.1, however ver…

hive独立模式安装--jared 该部署笔记是在2014年年初记录，现在放在51cto上。 有关hadoop基础环境的搭建请参考如下链接： http://ganlanqing.blog.51cto.com/6967482/1387210 JDK版本：jdk-7u51-linux-x64.rpmhadoop…

                              思维模式决定高度——从推广优秀工具说起      在年度的优秀软件/方法实践盘点总结推广…

    拳不离手曲不离口，每日操练不可少！     今天的练习题目：输入某年某月某日，判断这一天是这一年的第几天？     代码写完了，自测的工作还是不…

Git和传统版本控制系统的区别：     传统版本控制系统：         1、将数据保存的信息看作是一组基本文件和每个文件随时间逐步累积的差异         2、只记录发…

        德国AbsInt公司是一家安全苛求软件研发、确认、验证和认证工具链的供应商，能够为客户提供完整的确保代码安全的性能分析工具套件以及软件分析、验证、确认和编译器技术相关咨询服务。AbsInt产品广泛地应用…

   一、初识Spark和Hadoop      Apache Spark 是一个新兴的大数据处理通用引擎，提供了分布式的内存抽象。Spark 正如其名，最大的特点就是快（Lightning-fast），可比 Hadoop MapRed…

软件测试文档一般是提供测试信息的一组文档，可以是测试人员的工具，也可以是项目开发团队的开发辅助工具。 一般情况下，与项目相关的测试文档主要有以下几个 ~ 1.测试计划。（详情可参考一份标准的测试计划包含哪…

我们需要查看数据的统计量时，均值是最重要的特征之一。 对于海量数据，这类简单的聚合ES可以做到秒级别返回。聚合是ES的特色功能。 那么ES是如何实现这一功能的呢？ 我们知道，ES的数据存储在各个节点中， 所以ES…