数据中台

对文件而言，当读取这个文件时需要有r权限，当写入或者追加到文件时需要有w权限。对目录而言，当列出目录内容时需要具有r权限，当新建或删除子文件或子目录时需要有w权限，当访问目录的子节…

HDFS是Hadoop应用的主要分布式存储。一个HDFS集群由一个管理文件系统元数据的NameNode，和存储实际数据的一些Datanode组成。HDFS的架构在这里有详细描述。这…

什么是分布式文件系统?普通的文件系统是基于块来存储文件的。查找文件时，要去磁盘中匹配每一个块。一般是有文件分配表或多种FAT的。但是，分布式文件系统的物理存储资源是不一定直接连接在…

Append-only文件访问方式 HDFS 的 Append-only 文件访问方式是一个巨大的障碍，导致下游项目不得不解决这个问题。例如，HBase 就实现了“墓碑化（Tomb…

Apache Hive Hive是原始的SQL-on-Hadoop解决方案。它是一个开源的Java项目，能够将SQL转换成一系列可以在标准的Hadoop TaskTrackers上…

Apache Flink：是一个高效、分布式、基于Java实现的通用大数据分析引擎，它具有分布式MapReduce一类平台的高效性、灵活性和扩展性以及并行数据库查询优化方案，它支持…

书籍推荐 1.《Hadoop实战》：按照人类容易理解的方式阐述Hadoop如何入门的。 2.《Hadoop权威指南》(中文版)：Hadoop中的圣经级教材，很全，不过看起来挺累。 …

AtScale Intelligence Platform 4.0： AtScale开发的软件让业务用户有办法使用已有，并且熟悉的应用软件和业务分析工具，包括微软Excel、Tab…

首先，我们来分别部署一套hadoop、hbase、hive、spark，在讲解部署方法过程中会特殊说明一些重要配置，以及一些架构图以帮我们理解，目的是为后面讲解系统架构和关系打基础…

产生背景 (1)当服务越来越多时，服务URL配置管理变得非常困难，F5硬件负载均衡器的单点压力也越来越大。 此时需要一个服务注册中心，动态的注册和发现服务，使服务的位置透明。 并通…