Hadoop集群模式的搭建之二:配置Hadoop平台基础环境

合集 – Hadoopw安全分布式安装(2)

1.Hadoop集群模式的搭建之二:配置Hadoop平台基础环境04-272.Hadoop集群模式的搭建之一:虚拟机集群的搭建04-21

收起

在进行Hadoop集群的安装部署之前,需要对虚拟机进行一些基础环境配置。例如,为了在集群中识别主机,需要配置主机和IP地址的映射关系;为了使用Web相关的服务和访问连接,需要在集群中关闭并禁用防火墙功能;为了减少节点之间访问时人工输入用户密码,需要配置SSH免密登录;为了集群节点的时间能同步,需要配置时间服务。

1.1 设置服务器的主机名

Hadoop集群的3个节点的主机名分别为master、slave1、slave2

修改master节点的主机名
在master节点中执行修改命令hostnamectl set-hostname master,然后执行 bash 命令刷新主机名

修改slave1节点的主机名
在slave1节点中执行修改命令hostnamectl set-hostname slave1,然后执行 bash 命令刷新主机名

修改slave2节点的主机名
在slave2节点中执行修改命令hostnamectl set-hostname slave2,然后执行 bash 命令刷新主机名

1.2 关闭并禁用防火墙

Hadoop集群可以在web页面中进行管理,但需要关闭防火墙,否则会打不开web页面,也会造成Hadoop后台运行脚本出现一些不好解决的、莫名的错误
在master,slave1,slave2节点中分别关闭并禁用防火墙,并查看防火墙状态
关闭防火墙命令:systemctl stop firewalld;禁用防火墙命令:systemctl disable firewalld;查看防火墙状态:systemctl status firewalld

1.3 修改主机IP地址映射文件

1.3.1 修改虚拟机节点的主机IP地址映射文件

在master、slave1、slave2节点分别执行命令vi /etc/hosts 编辑hosts文件,文件内容为

192.168.75.151 master
192.168.75.152 slave1
192.168.75.153 slave2

1.3.2 修改宿主机的主机IP地址映射文件

在宿主机windows操作系统中,进入 C:WindowsSystem32Driversetc 目录,修改host文件,在文件末尾追加以下信息

192.168.75.151 master
192.168.75.152 slave1
192.168.75.153 slave2

1.4 配置免密登录

集群节点之间因为各种需要,会互相访问,如在节点之间执行scp命令发送文件,或者在一键启动Hadoop集群时,默认情况下需要手动输入很多次密码,所以在集群节点之间设置相互SSH免密登录会比较方便

1.4.1 在3个节点上生成密钥对

在3个节点上分别执行 “sgensh-keygen -t rsa -P '' “命令,在交互过程中会提示密钥对存放路径,默认存放在/root/.ssh/id_rsa目录下,直接按回车键选择存放在该目录下。

1.4.2 在master节点上收集slave1节点的公钥

执行切换目录命令cd /root/.ssh/
执行传输命令 scp root@slave1:~/.ssh/id_ras.pub ./1.pub

1.4.2 在master节点上收集slave2节点的公钥

执行切换目录命令cd /root/.ssh/
执行传输命令 scp root@slave2:~/.ssh/id_ras.pub ./2.pub

1.4.3 在master节点上制作白名单

执行切换目录命令cd /root/.ssh/
执行制作和赋权白名单命令
cat id_ras.pub 1.pub 2.pub >> authorized_keys
chmod 700 authorized_keys
cat authorized_keys

1.4.4 将白名单文件分发给其他节点

需要将白名单文件分发到slave1节点和slave2节点上才能互相拥有对方的公钥,实现SSH免密登录。执行以下命令将白名单文件分发给slave1节点和slave2节点

scp /root/.ssh/authorized_keys slave1:/root/.ssh/
scp /root/.ssh/authorized_keys slave2:/root/.ssh/

1.4.5 设置集群时间同步

集群中的节点如果没有连接外网,则时间久了,会产生时间偏差,导致集群执行任务时间不同步,所以需要在集群中的节点上设置服务器集群的时间同步。

1.4.5.1 安装并启动NTP服务

如果系统默认没有安装NTP服务,则需要先安装,分别在3个节点上执行以下命令,
安装NTP服务

yum install -y ntpdate
yum install -y ntp

启动NTP服务

systemctl start ntpd
systemctl enable ntpd

1.4.5.2 设置时间同步服务器

在master节点上修改ntp.conf文件,执行vi /etc/ntp.conf命令,在public server章节下添加”server 127.127.1.0″内容,表示设置服务器为本地节点;在access章节下添加”restrict 192.168.75.0″,表示新增一个restrict段为可以接受服务的网段
Hadoop集群模式的搭建之二:配置Hadoop平台基础环境
重启NTP 服务

systemctl restart ntpd
systemctl status ntpd

1.4.5.3 设置时间同步客户端

设置slave1节点和slave2节点作为时间同步客户端来同步master服务器的时间,在slave1和slave2节点执行vi /etc/ntp.conf命令,修改ntp.conf文件,在server节点中添加一个时间同步服务器地址,这里为”192.168.75.151″
Hadoop集群模式的搭建之二:配置Hadoop平台基础环境

1.4.5.3 在所有节点上启动时间同步功能

执行命令timedatectl set-ntp yes

© 版权声明

相关文章

暂无评论

您必须登录才能参与评论!
立即登录
暂无评论...