数据分析

  目前的工业趋势表明，作为企业存储领域的一部分，分布式文件系统将会成为日益重要的技术并得到迅猛发展。   分布式文件系统体系结构将超越目前在NAS系统中广泛应…

一、前提和设计目标 1、硬件错误是常态，而非异常情况，HDFS可能是有成百上千的server组成，任何一个组件都有可能一直失效，因此错误检测和快速、自动的恢复是HDFS的核心架构目…

对文件而言，当读取这个文件时需要有r权限，当写入或者追加到文件时需要有w权限。对目录而言，当列出目录内容时需要具有r权限，当新建或删除子文件或子目录时需要有w权限，当访问目录的子节…

HDFS是Hadoop应用的主要分布式存储。一个HDFS集群由一个管理文件系统元数据的NameNode，和存储实际数据的一些Datanode组成。HDFS的架构在这里有详细描述。这…

什么是分布式文件系统?普通的文件系统是基于块来存储文件的。查找文件时，要去磁盘中匹配每一个块。一般是有文件分配表或多种FAT的。但是，分布式文件系统的物理存储资源是不一定直接连接在…

Append-only文件访问方式 HDFS 的 Append-only 文件访问方式是一个巨大的障碍，导致下游项目不得不解决这个问题。例如，HBase 就实现了“墓碑化（Tomb…

Apache Hive Hive是原始的SQL-on-Hadoop解决方案。它是一个开源的Java项目，能够将SQL转换成一系列可以在标准的Hadoop TaskTrackers上…

Apache Flink：是一个高效、分布式、基于Java实现的通用大数据分析引擎，它具有分布式MapReduce一类平台的高效性、灵活性和扩展性以及并行数据库查询优化方案，它支持…

书籍推荐 1.《Hadoop实战》：按照人类容易理解的方式阐述Hadoop如何入门的。 2.《Hadoop权威指南》(中文版)：Hadoop中的圣经级教材，很全，不过看起来挺累。 …

AtScale Intelligence Platform 4.0： AtScale开发的软件让业务用户有办法使用已有，并且熟悉的应用软件和业务分析工具，包括微软Excel、Tab…