Hadoop集群模式的搭建之二：配置Hadoop平台基础环境

30 0 0

合集 – Hadoopw安全分布式安装(2)

1.Hadoop集群模式的搭建之二：配置Hadoop平台基础环境04-272.Hadoop集群模式的搭建之一：虚拟机集群的搭建04-21

收起

在进行Hadoop集群的安装部署之前，需要对虚拟机进行一些基础环境配置。例如，为了在集群中识别主机，需要配置主机和IP地址的映射关系；为了使用Web相关的服务和访问连接，需要在集群中关闭并禁用防火墙功能；为了减少节点之间访问时人工输入用户密码，需要配置SSH免密登录；为了集群节点的时间能同步，需要配置时间服务。

1.1 设置服务器的主机名

Hadoop集群的3个节点的主机名分别为master、slave1、slave2

修改master节点的主机名
在master节点中执行修改命令hostnamectl set-hostname master,然后执行 bash 命令刷新主机名

修改slave1节点的主机名
在slave1节点中执行修改命令hostnamectl set-hostname slave1,然后执行 bash 命令刷新主机名

修改slave2节点的主机名
在slave2节点中执行修改命令hostnamectl set-hostname slave2,然后执行 bash 命令刷新主机名

1.2 关闭并禁用防火墙

Hadoop集群可以在web页面中进行管理，但需要关闭防火墙，否则会打不开web页面，也会造成Hadoop后台运行脚本出现一些不好解决的、莫名的错误
在master,slave1,slave2节点中分别关闭并禁用防火墙，并查看防火墙状态
关闭防火墙命令：systemctl stop firewalld；禁用防火墙命令：systemctl disable firewalld;查看防火墙状态：systemctl status firewalld

1.3 修改主机IP地址映射文件

1.3.1 修改虚拟机节点的主机IP地址映射文件

在master、slave1、slave2节点分别执行命令vi /etc/hosts 编辑hosts文件，文件内容为

192.168.75.151 master
192.168.75.152 slave1
192.168.75.153 slave2

1.3.2 修改宿主机的主机IP地址映射文件

在宿主机windows操作系统中，进入 C:WindowsSystem32Driversetc 目录，修改host文件，在文件末尾追加以下信息

192.168.75.151 master
192.168.75.152 slave1
192.168.75.153 slave2

1.4 配置免密登录

集群节点之间因为各种需要，会互相访问，如在节点之间执行scp命令发送文件，或者在一键启动Hadoop集群时，默认情况下需要手动输入很多次密码，所以在集群节点之间设置相互SSH免密登录会比较方便

1.4.1 在3个节点上生成密钥对

在3个节点上分别执行 “sgensh-keygen -t rsa -P '' “命令,在交互过程中会提示密钥对存放路径，默认存放在/root/.ssh/id_rsa目录下，直接按回车键选择存放在该目录下。

1.4.2 在master节点上收集slave1节点的公钥

执行切换目录命令cd /root/.ssh/
执行传输命令 scp root@slave1:~/.ssh/id_ras.pub ./1.pub

1.4.2 在master节点上收集slave2节点的公钥

执行切换目录命令cd /root/.ssh/
执行传输命令 scp root@slave2:~/.ssh/id_ras.pub ./2.pub

1.4.3 在master节点上制作白名单

执行切换目录命令cd /root/.ssh/
执行制作和赋权白名单命令
cat id_ras.pub 1.pub 2.pub >> authorized_keys
chmod 700 authorized_keys
cat authorized_keys

1.4.4 将白名单文件分发给其他节点

需要将白名单文件分发到slave1节点和slave2节点上才能互相拥有对方的公钥，实现SSH免密登录。执行以下命令将白名单文件分发给slave1节点和slave2节点

scp /root/.ssh/authorized_keys slave1:/root/.ssh/
scp /root/.ssh/authorized_keys slave2:/root/.ssh/

1.4.5 设置集群时间同步

集群中的节点如果没有连接外网，则时间久了，会产生时间偏差，导致集群执行任务时间不同步，所以需要在集群中的节点上设置服务器集群的时间同步。

1.4.5.1 安装并启动NTP服务

如果系统默认没有安装NTP服务，则需要先安装，分别在3个节点上执行以下命令，
安装NTP服务

yum install -y ntpdate
yum install -y ntp

启动NTP服务

systemctl start ntpd
systemctl enable ntpd

1.4.5.2 设置时间同步服务器

在master节点上修改ntp.conf文件，执行vi /etc/ntp.conf命令，在public server章节下添加”server 127.127.1.0″内容，表示设置服务器为本地节点；在access章节下添加”restrict 192.168.75.0″,表示新增一个restrict段为可以接受服务的网段
Hadoop集群模式的搭建之二：配置Hadoop平台基础环境
重启NTP 服务

systemctl restart ntpd
systemctl status ntpd

1.4.5.3 设置时间同步客户端

设置slave1节点和slave2节点作为时间同步客户端来同步master服务器的时间，在slave1和slave2节点执行vi /etc/ntp.conf命令,修改ntp.conf文件，在server节点中添加一个时间同步服务器地址，这里为”192.168.75.151″
Hadoop集群模式的搭建之二：配置Hadoop平台基础环境