大数据之搭建HDP环境，以三个节点为例（下——扩展节点，删除节点，以及部署其他服务）

部署主节点以及安装服务请看上
https://blog.51cto.com/6989066/2173573

（八）节点的扩展（以HDFS为例）
①　从节点的准备工作
安装一台新的Linux
从节点只需要安装l Server With GUI
l Development Tools，不需要安装MariaDB Server

关闭防火墙
systemctl stop firewalld.service
systemctl disable firewalld.service
配置主机名：编辑/etc/hosts文件（主节点也需要加入从节点的信息）
配置免密码登录（各个节点之间，都需要配置）
安装JDK
挂载光盘：mount /dev/cdrom /mnt
删除原来的所有repo文件
创建yum的源文件： vi /etc/yum.repos.d/my.repo
[centos-yum]
baseurl=file:///mnt
enabled=1
gpgcheck=0
开启NTP服务
所有节点都需要操作
yum install ntp
systemctl is-enabled ntpd
systemctl enable ntpd
systemctl start ntpd
在新节点上创建目录：mkdir -p /var/lib/ambari-agent/data
②　添加一个新的节点，如下图所示：

PS：截图的时候所有Ambari服务已经停了，所以有很多alerts
③　配置新节点的主机信息和私钥文件

主机名与linux虚拟机host保持一致
私钥在.ssh/id_rsa目录，可用cat .ssh/id_rsa.pub查看
④　确认主机信息
![]


⑤　部署一个新的DataNode到新的节点


⑥　确认部署信息，并部署

⑦　部署成功，并在从节点上执行jps命令检查新的DataNode

九）启用HA（以NameNode为例）

①　按照上一节的步骤，在集群中再添加一个新的节点，并部署DataNode。
②　将ZooKeeper服务部署到三个节点上，并启动。
选择：“Service Actions” —> “Add ZooKeeper Server”

③　重启所有的ZooKeeper服务

注意：如果遇到有的节点无法启动，在Console上重启所有的服务。正常情况下，应该是所有服务都能正常启动。
④　为HDFS NameNode添加HA的服务

⑤　输入一个NameService

⑥　配置NameNode HA

⑦　检查配置信息

⑧　需要手动配置的内容，执行下面的命令：

1.Login to the NameNode host mydemo71.
2.Put the NameNode in Safe Mode (read-only mode):
a)sudo su hdfs -l -c ‘hdfs dfsadmin -safemode enter’

3.Once in Safe Mode, create a Checkpoint:
a)sudo su hdfs -l -c ‘hdfs dfsadmin -saveNamespace’

4.You will be able to proceed once Ambari detects that the NameNode is in Safe Mode and the Checkpoint has been created successfully.

⑨　开始进行HA的配置：

⑩　需要手动配置的内容，执行下面的命令：

sudo su hdfs -l -c ‘hdfs namenode -initializeSharedEdits’
⑪　启动HA

⑫　需要手动配置的内容，执行下面的命令：

⑬　进行最后的安装配置

⑭　验证HA：（非必需步骤）如果一个NameNode宕机，验证是否会进行自动的切换。

（十）删除节点和服务（非必要步骤，有实际需求时再删除）

（1）停止要删除节点（hdp23）上的所有服务

（3）删除HDFS、Yarn、MapReduce2服务
（4）删除节点hdp22，只保留hdp21
![]

（5）停止所有服务，并将hdp21的内存改为8g（可选步骤）
注意：由于需要重启虚拟机，一定要重新挂载光盘

6）重新部署HDFS、Yarn、MapReduce2服务。注意清空下面的目录：
namenode /root/training/bigdata/namenode
datanode /root/training/bigdata/datanode
yarn.nodemanager.local-dirs /root/training/bigdata/nodemanager/local
yarn.nodemanager.log-dirs /root/training/bigdata/nodemanager/log
所有密码 password

十一）安装部署其他服务（内存8g）
注意：一定保证httpd service和yum的源可用。
（1）部署Hive和Pig
注意：
Hive的执行引擎需要选择：MapReduce，如下图

（2）部署Flume和Sqoop：很简单。
（3）部署Spark：很简单。
（4）部署Kafka：很简单。
（5）部署Storm：很简单。
（6）部署Mahout：很简单。

到这里HDP的部署工作就完成了，如果你有任何意见或者建议，欢迎你在下方留言。
如果这篇博客有帮到你，欢迎你点个赞哦！