> 文档中心 > Hadoop集群搭建配置教程

Hadoop集群搭建配置教程

Hadoop3.1.3集群搭建

  • 前言
  • 集群规划
  • 集群搭建具体步骤
    • 1、下载`hadoop-3.1.3.tar.gz`
    • 2、上传并解压
    • 3、配置`path`变量
    • 4、修改配置文件
      • 4.1 修改文件`hadoop-env.sh`
      • 4.2 修改文件`workers`
      • 4.3 修改文件`core-site.xml`
      • 4.4 修改文件`hdfs-site.xml`
      • 4.5 修改文件`mapred-site.xml`
      • 4.6 修改文件 `yarn-site.xml`
    • 5、把`/opt/module/hadoop`复制到其他节点
    • 6、在其他节点上操作
    • 7、名称节点的格式化
    • 8、启动`Hadoop`集群
    • 9、验证是否启动成功
    • 10、查看运行实例
    • 11、关闭`Hadoop`集群

前言

当Hadoop采用分布式模式部署和运行时,存储采用分布式文件系统HDFS,而且,HDFS的名称节点和数据节点位于不同机器上。这时,数据就可以分布到多个节点上,不同数据节点上的数据计算可以并行执行,这时的MapReduce分布式计算能力才能真正发挥作用。

集群规划

我们使用三个虚拟机节点来搭建集群环境:

ip 主机名 功能
192.168.36.121 hadoop1 NameNode DataNode ResourceManager NodeManager
192.168.36.122 hadoop2 DataNode NodeManager
192.168.36.123 hadoop3 SecondryNameNode DataNode NodeManager

分别在上述的节点上修改hosts文件,增加IP和主机名的映射关系:

# 打开hosts文件vim /etc/hosts# 添加如下内容192.168.36.121   hadoop1192.168.36.122   hadoop2192.168.36.123   hadoop3

另外,Hadoop 集群运行需要 Java 运行环境,所以,在各个节点上需要安装 JDK

集群搭建具体步骤

注意:以下步骤均在hadoop1节点上进行操作,特殊说明除外!

1、下载hadoop-3.1.3.tar.gz

hadoop官网下载:https://www.apache.org/dyn/closer.cgi/hadoop/common/hadoop-3.1.3/hadoop-3.1.3.tar.gz

2、上传并解压

将下载好的 hadoop-3.1.3.tar.gz 上传到 hadoop1 虚拟机节点 /opt/module 目录下。

cd /opt/module# 解压tar -zxvf hadoop-3.1.3.tar.gz# 修改目录名mv hadoop-3.1.3 hadoop

3、配置path变量

vim ~/.bashrc # 添加如下内容:export PATH=$PATH:/opt/module/hadoop/bin:/opt/module/hadoop/sbin# :wq! 保存退出后执行如下命令,使配置生效source ~/.bashrc

4、修改配置文件

cd /opt/module/hadoop/etc/hadoop

4.1 修改文件hadoop-env.sh

vim hadoop-env.sh# 添加如下内容export JAVA_HOME=/usr/java/jdk1.8.0_131

4.2 修改文件workers

vim workers# 将localhost去掉添加如下内容hadoop1hadoop2hadoop3

注意:需要把所有数据节点的主机名写入该文件,每行一个,默认为localhost(即把本机作为数据节点),所以,在伪分布式配置时,就采用了这种默认的配置,使得节点既作为名称节点也作为数据节点。在进行分布式配置时,可以保留localhost,让hadoop1节点同时充当名称节点和数据节点,或者也可以删掉localhost这行,让hadoop1节点仅作为名称节点使用。

4.3 修改文件core-site.xml

<configuration><property><name>fs.defaultFS</name>    <value>hdfs://hadoop1:8020</value></property><property> <name>hadoop.tmp.dir</name>     <value>file:/opt/module/hadoop/tmp</value> <description>Abase for other temporary directories.</description></property></configuration>

4.4 修改文件hdfs-site.xml

dfs.replication的值还是设置为 3, 也就是说,一份数据保存三份副本,Hadoop的分布式文件系统HDFS一般都是采用冗余存储。

<configuration>  <property>   <name>dfs.namenode.secondary.http-address</name>   <value>hadoop1:50090</value>  </property>  <property>   <name>dfs.replication</name>   <value>3</value>  </property>  <property>   <name>dfs.namenode.name.dir</name>   <value>file:/opt/module/hadoop/tmp/dfs/name</value>  </property>  <property>   <name>dfs.datanode.data.dir</name>   <value>file:/opt/module/hadoop/tmp/dfs/data</value>  </property></configuration>

4.5 修改文件mapred-site.xml

<configuration>  <property>   <name>mapreduce.framework.name</name>   <value>yarn</value>  </property>  <property>   <name>mapreduce.jobhistory.address</name>   <value>hadoop1:10020</value>  </property>  <property>   <name>mapreduce.jobhistory.webapp.address</name>   <value>hadoop1:19888</value>  </property>  <property>   <name>yarn.app.mapreduce.am.env</name>   <value>HADOOP_MAPRED_HOME=/opt/module/hadoop</value>  </property>  <property>   <name>mapreduce.map.env</name>   <value>HADOOP_MAPRED_HOME=/opt/module/hadoop</value>  </property>  <property>   <name>mapreduce.reduce.env</name>   <value>HADOOP_MAPRED_HOME=/opt/module/hadoop</value>  </property></configuration>

4.6 修改文件 yarn-site.xml

<configuration>  <property>   <name>yarn.resourcemanager.hostname</name>   <value>hadoop1</value>  </property>  <property>   <name>yarn.nodemanager.aux-services</name>   <value>mapreduce_shuffle</value>  </property></configuration>

5、把/opt/module/hadoop复制到其他节点上

cd /opt/modulerm -r ./hadoop/tmp     # 删除 Hadoop 临时文件rm -r ./hadoop/logs/*   # 删除日志文件tar -zxcf hadoop.tar.gz ./hadoop   # 先压缩再复制scp ./hadoop.tar.gz hadoop2:/opt/modulescp ./hadoop.tar.gz hadoop3:/opt/module

6、在其他节点上操作

cd /opt/modulerm -r ./hadoop    # 删掉旧的(如果存在)tar -zxvf hadoop.tar.gz

7、名称节点的格式化

首次启动Hadoop集群时,需要先在hadoop1节点执行名称节点的格式化(只需要执行这一次,后面再启动Hadoop时,不要再次格式化名称节点)

hdfs namenode -format

8、启动Hadoop集群

需要在hadoop1节点上进行

# 启动hdfsstart-dfs.sh# 启动yarnstart-yarn.sh# 启动历史服务mr-jobhistory-daemon.sh start historyserver

9、验证是否启动成功

通过命令jps可以查看各个节点所启动的进程。如果已经正确启动,则在hadoop1节点上可以看到NameNodeResourceManager、和JobHistoryServer以及DataNodeNodeManager进程
在其他两个节点可以看到DataNodeNodeManager进程,在hadoop3节点上还可以看到SecondryNameNode进程
缺少任一进程都表示出错。

10、查看运行实例

在执行过程中,可以在Linux系统中打开浏览器,在地址栏输入http://hadoop1:8088/cluster,通过Web界面查看任务进度,在Web界面点击 Tracking UI 这一列的History连接,可以看到任务的运行信息。

11、关闭Hadoop集群

关闭Hadoop集群,需要在hadoop1节点执行如下命令:

stop-yarn.shstop-dfs.shmr-jobhistory-daemon.sh stop historyserver

至此,就顺利完成了Hadoop集群搭建。

微信公众号:扫描下方二维码或 搜索 笑看风云路 关注
笑看风云路