数据湖

上传zookeeper包 /usr 下; 进入/usr目录 cd /usr/ 解压; tar -xzvf zookeeper-3.4.10.tar.gz 换名字; mv zooke…

进入/usr cd /usr 解压hbase tar -xzvf hbase-1.3.1-bin.tar.gz 删除包 rm -rf hbase-1.3.1-bin.tar.gz …

只需要在主节点配置即可 进入usr cd /usr 解压hive tar -xzvf apache-hive-2.1.1-bin.tar.gz 删除apache-hive-2.1.…

package cn.hwadee.wuyang.hdfs.utils; import java.io.ByteArrayOutputStream; import java.io.…

package cn.hwadee.wuyang.hbase.utils; import java.io.IOException; import java.util.Iterato…

1.重要部分 1. fs.default.name hdfs://master:9000 定义master的URI和端口 2. hadoop.tmp.dir /usr/hadoop…

一、重要部分 1. dfs.name.dir /usr/hadoop/hdfs/name 存贮在本地的名字节点数据镜象的目录,作为名字节点的冗余备份 2. dfs.data.dir…

1. HDFS优缺点 1.1 优点 1.1.1高容错性 可以由数百或数千个服务器机器组成，每个服务器机器存储文件系统数据的一部分； 数据自动保存多个副本； 副本丢失后检测故障快速，…

问题导读1.hadoop1.x中mapreduce框架与yarn有什么共同点？2.它们有什么不同点？3.yarn中有哪些改变？4.yarn中有哪些术语？ yarn是比较难懂的一个地…

一、Spark 是什么 　 　Spark是UC Berkeley AMP lab所开源的类Hadoop MapReduce的通用分布式并行计算框架。Spark拥有hado…