数据采集

知其然，知其所以然。要想深入学习和理解Hadoop的核心机制，还要从MapReduce和HDFS的原理入手。 MapReduce的“大事化小” 作为Google提出的架构，MapR…

互联网厂商将Hadoop连接器软件视为“大数据管理”战略的重要一环，但是并不是只有主流的数据库厂商在做这件事。像数据仓库提供商Teradata以及惠普公司的Vertica都推出了类…

如果你是世界上广大Hadoop用户的一员，你肯定知道Google曾经靠着分布式计算技术（Hadoop），在搜索引擎和广告方面取得了举世瞩目的成就。现在的Hadoop不仅是当年的老二…

HDFS和MapReduce只是打造Hadoop平台最基本的核心套件，在Apache基金会的网站中还有其他的相关开源套件，共同组成了一个Hadoop体系（Hadoop Ecosys…

Splunk面向的是细分市场，分析Machine Log，并在上面集成了完整的专用模块。所有用例都是相对专门的领域，因此可以对这些进行专门优化。它的核心竞争力应该是领域知识和抽象，…

1、云计算与大数据是什么关系? 云计算的关键词在于“整合”，无论你是通过现在已经很成熟的传统的虚拟机切分型技术，还是通过google后来所使用的海量节点聚合型技术，他都是通过将海量…

  目前的工业趋势表明，作为企业存储领域的一部分，分布式文件系统将会成为日益重要的技术并得到迅猛发展。   分布式文件系统体系结构将超越目前在NAS系统中广泛应…

一、前提和设计目标 1、硬件错误是常态，而非异常情况，HDFS可能是有成百上千的server组成，任何一个组件都有可能一直失效，因此错误检测和快速、自动的恢复是HDFS的核心架构目…

对文件而言，当读取这个文件时需要有r权限，当写入或者追加到文件时需要有w权限。对目录而言，当列出目录内容时需要具有r权限，当新建或删除子文件或子目录时需要有w权限，当访问目录的子节…

HDFS是Hadoop应用的主要分布式存储。一个HDFS集群由一个管理文件系统元数据的NameNode，和存储实际数据的一些Datanode组成。HDFS的架构在这里有详细描述。这…