数据采集

1，hadoop fs –fs [local | <file system URI>]：声明hadoop使用的文件系统，如果不声明的话，使用当前配置文件配置的，按如下顺…

1、NodeManager概述 NodeManager（NM）是YARN中每个节点上的代理，它管理Hadoop集群中单个计算节点，包括与ResourceManger保持通信，监督C…

hadoop知识点总结 hadoop原理 上图中展现了整个HDFS三个重要角色：NameNode、DataNode和Client。NameNode可以看作是分布式文件系统中的管理者…

Kerberos Install Kerberos 安装 节点信息 name01 datanode01 datanode02 datanode03 datanode04 安装 kd…

Hadoop 权限 Sentry Hive beeline连接Hive beeline> !connect jdbc:hive2://datanode03:10000/def…

spark yarn-cluster模式提交task流程

HashShuffleManager HashShuffleManager在spark早期版本中为默认shuffle管理器（spark1.2以前）。单此版本存在明显的弊端，此shu…

Shuffle过程解析 ShuffleMapTask ShuffleMapTask时shuffle过程的入口，runTask方法实现了shuffle的主要逻辑，runTask依赖S…

goldengate 实现mysql到kafka同步 Oracle GoldenGate 提供异构环境间事务数据的实时、低影响的捕获、路由、转换和交付 goldengate架构 g…

本篇文章讲述用HBase Shell命令 和 HBase Java API 对HBase 服务器 进行操作。在此之前需要对HBase的总体上有个大概的了解。比如说HBase服务器内…