Hadoop2.7.*集群部署

2020-12-19 13:13:11 编辑 1 阅读量:551

Hadoop 集群的安装配置大致为如下流程:

1、选定一台机器作为 Master
2、在 Master 节点上配置 hadoop 用户、安装 SSH server、安装 Java 环境
3、在 Master 节点上安装 Hadoop，并完成配置
4、在其他 Slave 节点上配置 hadoop 用户、安装 SSH server、安装 Java 环境
5、将 Master 节点上的 /usr/local/hadoop 目录复制到其他 Slave 节点上
6、在 Master 节点上开启 Hadoop

注意，这里最好所有主机的用户名均为同一个名字，方便配置（建议为hadoop），但是主机名必须为不同的名字，建议master，slave2，slave2等。
ps：修改主机名需要修改/etc/hostname，最好同时也改一下/etc/hosts

安装基本环境的配置见《Hadoop2.7.*安装—单机/伪分布》--http://cblog.xyz/article/111。

一、基本环境
    这里默认伪分布的hadoop可以在master运行成功，有三个pc，一个master（同时也当secondarynamenode)，两个slave（slave中可以无hadoop环境），且固定好IP，能互相ping通。如果是虚拟机，网卡用桥接模式。

二、修改/etc/hosts，此处所有pc均一致

```bash
$ sudo vim /etc/hosts
# 仅有一个127.0.0.1，且master、slave等要为网卡IP，不能为127.0.0.1
127.0.0.1 localhost
REAL_IP   master
REAL_IP   slave1
REAL_IP   slave2
```

三、ssh无密码登陆
    这里保证mater可以无密码登陆master、slave；保证slave可以无密码登陆master；slave无需无密码登陆slave

```bash
# 以下命令在master执行
$ cd ~/.ssh               # 如果没有该目录，先执行一次ssh localhost，此命令需要openssh-server
$ rm ./id_rsa*            # 删除之前生成的公匙（如果有）
$ ssh-keygen -t rsa       # 一直按回车就可以
$ cat ./id_rsa.pub >> ./authorized_keys  #添加本机无密码登陆，可以用ssh master验证，登陆后记得exit
$ scp ~/.ssh/id_rsa.pub hadoop@slave1:/home/hadoop/  # secure copy，复制公钥到slave1

# 以下命令在slave1中执行
$ mkdir ~/.ssh       # 如果不存在该文件夹需先创建，若已存在则忽略
$ cat ~/id_rsa.pub >> ~/.ssh/authorized_keys # 添加信任，此时master可以无密码登陆slave1:ssh slave1
$ rm ~/id_rsa.pub    # 用完就可以删掉了
# 其他slave依次执行
# 然后在slave中生成公钥，接着复制到master上，然后在master添加信任
```

这里配置完后，应该是master可以登陆slave，slave可以登陆master

四、配置hadoop集群(此步骤可以只在master上进行)
   集群/分布式模式需要修改 /usr/local/hadoop/etc/hadoop 中的5个配置文件，更多设置项可点击查看官方说明，这里仅设置了正常启动所必须的设置项： slaves、core-site.xml、hdfs-site.xml、mapred-site.xml、yarn-site.xml 。这些文件均在/usr/loacal/hadoop/etc/hadoop中，所以以下命令执行目录为/etc/local/hadoop/etc/hadoop/。所有pc的配置均一致，可以在master中修改完后复制到slave中。

1、修改slaves
将作为 DataNode 的主机名写入该文件，每行一个，默认为 localhost，所以在伪分布式配置时，节点即作为 NameNode 也作为 DataNode。分布式配置可以保留 localhost，也可以删掉，让 Master 节点仅作为 NameNode 使用。最好让 Master 节点仅作为 NameNode 使用，因此将文件中原来的 localhost 删除。

```bash
$ vim slaves
# 文件内容修改为下面的形式，且无其他内容
slave1
slave2
```

2、修改core-site.xml为下面的配置

```xml
<configuration>
        <property>
                <name>fs.defaultFS</name>
                
                <value>hdfs://master:9000</value>
        </property>
        <property>
                <name>hadoop.tmp.dir</name>
                <value>file:/usr/local/hadoop/tmp</value>
                <description>Abase for other temporary directories.</description>
        </property>
</configuration>
```

3、修改 hdfs-site.xml

```xml
<configuration>
        <property>
                <name>dfs.namenode.secondary.http-address</name>
                <value>Master:50090</value>
        </property>
        <property>
                
                <name>dfs.replication</name>
                <value>2</value>
        </property>
        <property>
                <name>dfs.namenode.name.dir</name>
                <value>file:/usr/local/hadoop/tmp/dfs/name</value>
        </property>
        <property>
                <name>dfs.datanode.data.dir</name>
                <value>file:/usr/local/hadoop/tmp/dfs/data</value>
        </property>
</configuration>

4、配置mapred-site.xml

```bash
# 从template文件中修改
$ cp mapred-site.xml.template mapred-site.xml
```

```xml
<configuration>
        <property>
                <name>mapreduce.framework.name</name>
                <value>yarn</value>
        </property>
        <property>
                <name>mapreduce.jobhistory.address</name>
                <value>master:10020</value>
        </property>
        <property>
                <name>mapreduce.jobhistory.webapp.address</name>
                <value>master:19888</value>
        </property>
</configuration>
```

5、修改yarn-site.xml：

```xml
<configuration>
        <property>
                <name>yarn.resourcemanager.hostname</name>
                <value>master</value>
        </property>
        <property>
                <name>yarn.nodemanager.aux-services</name>
                <value>mapreduce_shuffle</value>
        </property>
</configuration>
```

五、复制/usr/local/hadoop/ 到集群

```bash
# 删除之前部署伪分布式时的临时文件，在master上执行
$ cd /usr/local
$ sudo rm -r ./hadoop/tmp     # 删除 Hadoop 临时文件
sudo rm -r ./hadoop/logs/*   # 删除日志文件
tar -zcf ~/hadoop.master.tar.gz ./hadoop   # 先压缩再复制
cd ~
scp ./hadoop.master.tar.gz hadoop@slave1:/home/hadoop

# 在slave上执行
sudo rm -r /usr/local/hadoop    # 删掉旧的（如果存在）
sudo tar -zxf ~/hadoop.master.tar.gz -C /usr/local
sudo chown -R hadoop:hadoop /usr/local/hadoop
```

六、启动

```bash
# 首次启动要先格式话namenode，后面均可以不要进行次操作，在master执行
$ hdfs namenode -format       # 首次运行需要执行初始化，之后不需要

# 在master启动，如果配置正常，slave也会同步跟着启动的
$ start-dfs.sh
$ start-yarn.sh
$ mr-jobhistory-daemon.sh start historyserver

# 查看是否启动成功
$ jps # 在master上可以看到5个进程：ResourceManager, NameNode, Jps, SecondaryNameNode, JobHistoryServer
# 在slave可以看到3个进程：DateNode, NodeManager, Jps

# 查看集群状态
$ hdfs dfsadmin -report # 仅在master上执行，可以看到LiveNodes的数量与slave数量一致，否则去查看相应的log，排查
# 这里经常有的问题可能是/etc/hosts设置不对，导致master没有监听的是127.0.0.1:9000，正确的应该是REAL_INTER_IP:9000，另外，防火墙也会有影响。
```

七、运行示例

```bash
# 以下均在master中执行
$ hdfs dfs -mkdir -p /user/hadoop # 创建用户目录

# 上传文件，其中input可以为其他名字
# hdfs dfs -mkdir input
# hdfs dfs -put /usr/local/hadoop/etc/hadoop/*.xml input/

# 运行mapreduce作业
$ hadoop jar /usr/local/hadoop/share/hadoop/mapreduce/hadoop-mapreduce-examples-*.jar grep input output 'dfs[a-z.]+'

# 查看结果
$ hdfs dfs -cat output/*

# 关闭集群
$ stop-yarn.sh
$ stop-dfs.sh
$ mr-jobhistory-daemon.sh stop historyserver
```

附录：hdfs的常用操作

```bash
hadoopdfs -ls 列出HDFS下的文件
hadoop dfs -ls in 列出HDFS下某个文档中的文件
hadoop dfs -put test1.txt test 上传文件到指定目录并且重新命名，只有所有的DataNode都接收完数据才算成功
hadoop dfs -get in getin 从HDFS获取文件并且重新命名为getin，同put一样可操作文件也可操作目录
hadoop dfs -rmr out 删除指定文件从HDFS上
hadoop dfs -cat in/* 查看HDFS上in目录的内容
hadoop dfsadmin -report 查看HDFS的基本统计信息，结果如下
hadoop dfsadmin -safemode leave 退出安全模式
hadoop dfsadmin -safemode enter 进入安全模式
```

Hadoop2.7.*集群部署

附件: