实验0-Hadoop伪分布式环境搭建

软件要求

VirtualBox下载

（粘贴到浏览器地址栏直接下载）

https://download.virtualbox.org/virtualbox/6.1.4/VirtualBox-6.1.4-136177-Win.exe

Ubuntu下载

（粘贴到浏览器地址栏直接下载）

https://mirrors.tuna.tsinghua.edu.cn/ubuntu-releases/18.04/ubuntu-18.04.6-live-server-amd64.iso

JDK下载

（需要在网页中手动查找，“ctrl+f” 搜索“jdk-8u241-linux-x64.tar.gz”）

https://www.oracle.com/java/technologies/javase/javase8u211-later-archive-downloads.html

下载 “jdk-8u241-linux-x64.tar.gz”：

【注意】如弹出账号登陆界面，可以使用下动态账号登陆并下载：

http://bugmenot.com/view/oracle.com

Hadoop下载

（粘贴到浏览器地址栏直接下载）

http://archive.apache.org/dist/hadoop/core/hadoop-3.2.1/hadoop-3.2.1.tar.gz

安装VirtualBox

下载完成后直接安装即可。

在VirtualBox中安装Ubuntu

1、设置VirtualBox。

新建 填写虚拟机名称“ubuntu_1804_work1”

虚拟机参数设置：

在存储中选择盘片图标，然后选择Choose a disk file

在弹出对话框中选择ubuntu安装镜像。

2、启动并进行安装。

单击启动

此时，如果窗口过小可以如下方法调整分辨率：

选择以下三个选项

进入Ubuntu操作系统，设定用户名为ubuntu，并设置登陆密码为123456（密码自由设定，不要太长，后面需要多次输入。注意用户名一定不能有中文）。

3、关闭虚拟机，点击【设置】，在左侧栏选择【网络】，并配置网络，网卡1连接方式为【网络地址转换(NAT )】(NAT相当于借用宿主机（相当于路由器）ip上网用来访问互联网)；网卡2连接方式为【仅主机(Host-Only )网络】（Host-Only让虚拟机之间互联 )。开启虚拟机。

账号密码登陆系统，修改vim编辑器使用属性，右键进入终端（terminal）后,键入命令：

echo "set nocompatible">>~/.vimrc 
echo "set backspace=indent,eol,start">>~/.vimrc

然后进入网络配置文件：

sudo vi /etc/netplan/*.yaml

此时进入vim输入模式：

​ vi/vim使用规则详见（https://www.runoob.com/linux/linux-vim.html）

（按字母o切换为输入模式）在配置文件中写入配置代码（注意缩进，#注释不必输入）：

network: #原来就有不用加
  ethernets:
    enps03:  
      addresses: []
      dhcp4: true
    enp0s8:  #配置网卡
      dhcp4: false
      addresses: [192.168.56.101/24]
      nameservers:
        addresses: [192.168.56.1]
  version: 2
  renderer: NetworkManager

点击Esc键后，输入“:wq!”并回车（enter)。

回到命令行，输入：

sudo netplan apply

如无报错，输入如下命令关闭Ubuntu防火墙：

sudo ufw disable

重启虚拟机，测试网络通断：(ctrl+c退出测试)

ping www.baidu.com

进入命令行交互界面后，键入命令（查ip）：

ifconfig -a

如提示“not found”,执行 sudo apt install net-tools 进行安装，若提示没有安装成功,再分别执行以下两条语句：
sudo apt-get update
sudo apt-get upgrade

再次执行sudo apt install net-tools语句，显示如下结果

再次键入命令：

ifconfig -a

显示如下界面：其中“lo”代表Ubuntu系统的本地环回地址，分别找到网卡1（访问互联网）、网卡2 ip（局域网ip）

备份当前虚拟机

4、启用root账号进行SSH登录。

默认状态下新安装的Ubuntu系统需要初始化root账号并设置密码，如下：

sudo passwd root

安装ssh服务：

sudo apt-get install ssh

然后设置root账号为远程可访问：

sudo vi /etc/ssh/sshd_config

上图为输入sudo vi /etc/ssh/sshd_config命令后，接下来输入：

/Root

并按回车

此时光标移动到 #PermitRootLogin prohibit-password 语句，按两下Esc，然后在#PermitRootLogin prohibit-password 这行按两下字母y，再按一下字母p，复制粘贴出来**#PermitRootLogin prohibit-password**** 同样的一条语句

按字母 i进入输入模式，把其中一个去掉#并改成：PermitRootLogin yes（由于root账号默认不可远程访问，将其设置为远程可访问，用于后续组网）

按esc，再输入:wq！

输入语句：

/etc/init.d/ssh restart 

输入密码并授权

Virtualbox实现共享文件夹并自动挂载：https://blog.csdn.net/hexf9632/article/details/93774198

在终端输入命令：sudo ufw disable

接下来安装Xme5，并输入对应的产品密钥，打开Xshell，点击【新建】，在弹出的对话框中：输入名称为ubuntu（前面设定的用户名，不清楚用户名的用whoami指令查询一下），主机处输入网卡2的ip地址：192.168.56.101，点击确定

点击连接

设定密码为开机密码123456

5、ifconfig查看该虚拟机ip，并尝试通过Xshell远程连接该虚拟机。

安装JDK

1、参考：https://blog.csdn.net/hexf9632/article/details/93774198共享文件夹，挂载地址为： /mnt/share/如下：

2、安装JDK

复制jdk安装包到/opt

sudo cp /mnt/share/* /opt

#压缩包解压缩
cd /opt
sudo tar zxvf jdk-8u241-linux-x64.tar.gz 

# 修改环境变量 
vi ~/.bashrc

按pagedown键，挪到最后一行，再按字母o键，变为Insert，可以插入内容
# 文件末尾追加如下内容
export JAVA_HOME=/opt/jdk1.8.0_241
export JRE_HOME=${JAVA_HOME}/jre  
export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib  
export PATH=${JAVA_HOME}/bin:$PATH  

输入完毕后按esc按键，并输入
:wq!

# 使环境变量生效
source ~/.bashrc

# 验证是否安装成功
java -version

安装Hadoop

1、将下载的Hadoop tar包传到虚拟机/opt目录下，或直接在虚拟机中下载该tar包。

2、ifconfig查看该虚拟机ip，并通过Xshell远程连接该虚拟机。

3、设置SSH免密

# 验证是否已开启免密
ssh localhost

ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa
cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
chmod 0600 ~/.ssh/authorized_keys

# 验证免密开启是否成功
ssh localhost

4、安装Hadoop

同理复制hadoop-3.2.1.tar.gz到/opt：

cd /opt
sudo tar zxvf hadoop-3.2.1.tar.gz

# 修改hadoop-env.sh
sudo vi /opt/hadoop-3.2.1/etc/hadoop/hadoop-env.sh

按pagedown键，挪到最后一行，再按字母o键，变为Insert，可以插入内容
# 添加如下内容
export JAVA_HOME=/opt/jdk1.8.0_241
export HADOOP_HOME=/opt/hadoop-3.2.1

输入完毕后按esc按键，并输入
:wq!




















#### 一、配置并启动HDFS ###

# 给文件夹权限
sudo chown -R ubuntu:ubuntu /opt/hadoop-3.2.1  ##此处【 ubuntu:ubuntu】根据创建的用户名进行修改
#提升访问权限
sudo chmod 777 /opt/hadoop-3.2.1
# 修改配置文件
sudo vi /opt/hadoop-3.2.1/etc/hadoop/core-site.xml

# 内容如下
<configuration>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://localhost:9000</value>
    </property>
</configuration>

# 修改配置文件
sudo vi /opt/hadoop-3.2.1/etc/hadoop/hdfs-site.xml

# 内容如下
<configuration>
    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
</configuration>

# 修改start-dfs.sh 
sudo vi /opt/hadoop-3.2.1/sbin/start-dfs.sh

# 在最开头处（第一行）添加如下内容
HDFS_DATANODE_USER=root
HDFS_DATANODE_SECURE_USER=hdfs
HDFS_NAMENODE_USER=root
HDFS_SECONDARYNAMENODE_USER=root 

# 修改stop-dfs.sh 
sudo vi /opt/hadoop-3.2.1/sbin/stop-dfs.sh

# 在开头处添加如下内容
HDFS_DATANODE_USER=root
HDFS_DATANODE_SECURE_USER=hdfs
HDFS_NAMENODE_USER=root
HDFS_SECONDARYNAMENODE_USER=root 

# 格式化
/opt/hadoop-3.2.1/bin/hdfs namenode -format

# 启动HDFS
/opt/hadoop-3.2.1/sbin/start-dfs.sh

# 验证是否安装成功 
# 1、使用jps命令 查看是否存在NameNode等进程
输入jps,再点击回车

# 2、或用浏览器打开虚拟机的如下地址
http://${自己的虚拟机的ip}:9870/
#http://192.168.56.101:9870/

# 停止HDFS
/opt/hadoop-3.2.1/sbin/stop-dfs.sh