开源鸿蒙跨平台开发者社区

开源鸿蒙跨平台开发者社区 Centos7集群配置部署MapReduce和YARN

Centos7集群配置部署MapReduce和YARN

心上之秋

949人浏览 · 2025-03-06 16:40:30
心上之秋  ·  2025-03-06 16:40:30 发布

1、配置Yarn和MapReduce

在$HADOOP_HOME/etc/hadoop 文件夹内， 修改mapred-env.sh,添加环境变量

#设置jdk路径
export JAVA_HOME=/export/server/jdk
#设置JobHistoryServer进程内存为1G
export HADOOP_JOB_HISTORYSERVER_HEAPSIZE=1000
#设置日志级别为
export HADOOP_MAPRED_ROOT_LOGGER=INFO,RFA
  • 1.
  • 2.
  • 3.
  • 4.
  • 5.
  • 6.

Centos7集群配置部署MapReduce和YARN_hadoop

修改mapred-site.xml文件，添加如下配置信息

<property>
  <name>mapreduce.framework.name</name>
  <value>yarn</value>
  <description>Mapreduce的运行框架设置为YARN</description>
 </property>
 <property>
  <name>mapreduce.jobhistory.address</name>
  <value>node1:10020</value>
  <description>历史服务器通讯端口为node1:10020</description>
 </property>
 <property>
  <name>mapreduce.jobhistory.webapp.address</name>
  <value>node1:19888</value>
  <description>历史服务器web端口为node1:19888</description>
 </property>
 <property>
  <name>mapreduce.jobhistory.intermediate-done-dir</name>
  <value>/data/mr-history/tmp</value>
  <description>历史信息在HDFS的记录临时路径</description>
 </property>
 <property>
  <name>mapreduce.jobhistory.dne-dir</name>
  <value>/data/mr-history/done</value>
  <description>历史信息在HDFS的记录路径</description>
 </property>
 <property>
  <name>yarn.app.mapreduce.am.env</name>
  <value>HADOOP_MAPRED_HOME=$HADOOP_HOME</value>
  <description>Mapreduce_HOME设置为HADOOP_HOME</description>
 </property>
 <property>
  <name>mapreduce.map.env</name>
  <value>HADOOP_MAPRED_HOME=$HADOOP_HOME</value>
  <description>Mapreduce_HOME设置为HADOOP_HOME</description>
 </property>
 <property>
  <name>mapreduce.reduce.env</name>
  <value>HADOOP_MAPRED_HOME=$HADOOP_HOME</value>
  <description>Mapreduce_HOME设置为HADOOP_HOME</description>
 </property>
  • 1.
  • 2.
  • 3.
  • 4.
  • 5.
  • 6.
  • 7.
  • 8.
  • 9.
  • 10.
  • 11.
  • 12.
  • 13.
  • 14.
  • 15.
  • 16.
  • 17.
  • 18.
  • 19.
  • 20.
  • 21.
  • 22.
  • 23.
  • 24.
  • 25.
  • 26.
  • 27.
  • 28.
  • 29.
  • 30.
  • 31.
  • 32.
  • 33.
  • 34.
  • 35.
  • 36.
  • 37.
  • 38.
  • 39.
  • 40.

Centos7集群配置部署MapReduce和YARN_mapreduce_02

修改YARN配置文件，在$HADOOP_HOME/etc/hadoop中修改yarn-env.sh文件，添加环境变量

#设置JDK路径的环境变量
export JAVA_HOME=/export/server/jdk
#设置HADOOP_HOME的环境变量
export HADOOP_HOME=/export/server/hadoop
#设置配置文件路径的环境变量
export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop
#设置日志文件路径的环境变量
export HADOOP_LOG_DIR=$HADOOP_HOME/logs
  • 1.
  • 2.
  • 3.
  • 4.
  • 5.
  • 6.
  • 7.
  • 8.

Centos7集群配置部署MapReduce和YARN_Yarn_03

修改yarn-site.xml添加如下内容

<property>
  <name>yarn.resourcemanager.hostname</name>
  <value>node1</value>
  <description>ResourceManager设置在node1节点</description>
 </property>
 <property>
  <name>yarn.nodemanager.local-dirs</name>
  <value>/data/nm-local</value>
  <description>NodeManager中间数据本地存储路径</description>
 </property>
 <property>
  <name>yarn.nodemanager.log-dirs</name>
  <value>/data/num-log</value>
  <description>NodeManager数据日志本地存储路径</description>
 </property>
 <property>
  <name>yarn.nodemanager.aux-services</name>
  <value>mapreduce_shuffle</value>
  <description>为MapReduce开启Shuffle服务</description>
 </property>
 <property>
  <name>yarn.log.server.url</name>
  <value>http://node1:19888/jobhistory/logs</value>
  <description>历史服务器URL</description>
 </property>
 <property>
  <name>yarn.web-proxy.address</name>
  <value>node1:8089</value>
  <description>代理服务器主机端口</description>
 </property>
 <property>
  <name>yarn.log-aggregation-enable</name>
  <value>true</value>
  <description>开启日志聚合</description>
 </property>
 <property>
  <name>yarn.nodemanager.remote-app-log-dir</name>
  <value>/tmp/logs</value>
  <description>程序日志HDFS的存储路径</description>
 </property>
 <property>
  <name>yarn.resourcemanager.scheduler.class</name>
  <value>org.apache.hadoop.yarn.server.resourcemanager.scheduler.fair.FairSchduler</value>
  <description>选择公平调度</description>
 </property>
  • 1.
  • 2.
  • 3.
  • 4.
  • 5.
  • 6.
  • 7.
  • 8.
  • 9.
  • 10.
  • 11.
  • 12.
  • 13.
  • 14.
  • 15.
  • 16.
  • 17.
  • 18.
  • 19.
  • 20.
  • 21.
  • 22.
  • 23.
  • 24.
  • 25.
  • 26.
  • 27.
  • 28.
  • 29.
  • 30.
  • 31.
  • 32.
  • 33.
  • 34.
  • 35.
  • 36.
  • 37.
  • 38.
  • 39.
  • 40.
  • 41.
  • 42.
  • 43.
  • 44.
  • 45.

Centos7集群配置部署MapReduce和YARN_hadoop_04

主节点配置完成后，向其他节点服务器分发文件

scp mapred-env.sh mapred-site.xml yarn-env.sh yarn-site.xml  node2:`pwd`/
scp mapred-env.sh mapred-site.xml yarn-env.sh yarn-site.xml  node3:`pwd`/
  • 1.
  • 2.

Centos7集群配置部署MapReduce和YARN_mapreduce_05

2、启动Yarn和MapReduce

在主节点服务器，以hadoop超级用户运行下面命令(这里是hadoop)

a.启动yarn

#一键启动yarn集群
$HADOOP_HOME/sbin/start-yarn.sh
#一键停止yarn集群
$HADOOP_HOME/sbin/stop-yarn.sh
#在当前机器，单独启动或停止进程
$HADOOP_HOME/bin/yarn --daemon start|stop resourcemanager|nodemanager|proxyserver
#历史服务器启动和停止
$HADOOP_HOME/bin/mapred --daemon start|stop historyserver
  • 1.
  • 2.
  • 3.
  • 4.
  • 5.
  • 6.
  • 7.
  • 8.

首先，开启yarn

start-yarn.sh
  • 1.

Centos7集群配置部署MapReduce和YARN_Yarn_06

Centos7集群配置部署MapReduce和YARN_Yarn_07

其次，开启历史服务器

$HADOOP_HOME/bin/mapred --daemon start historyserver
  • 1.

Centos7集群配置部署MapReduce和YARN_hadoop_08

Centos7集群配置部署MapReduce和YARN_mapreduce_09

访问Web页面，浏览器访问 主节点ip:8088

Centos7集群配置部署MapReduce和YARN_hadoop_10

部署问题：

1、这里在启动时遇到问题，未能正常启动resourcemanager和nodemanager，在$HADOOP/logs中查看对应日志后发现是因为高版本jdk有安全机制导致的，这里采用办法是重新安装对应版本1.8的jdk

2、由于配置内容较多，需要检查是否有配置错误的情况导致启动失败

# mapreduce # 大数据
Logo
开源鸿蒙跨平台开发者社区

开源鸿蒙跨平台开发社区汇聚开发者与厂商，共建“一次开发，多端部署”的开源生态，致力于降低跨端开发门槛，推动万物智联创新。

更多推荐

cover

Flutter for OpenHarmony 实战：用 dchs_motion_sensors 采集七类传感器并做屏幕方向响应

avatar 开源鸿蒙跨平台开发者社区
cover

Notepad++ 鸿蒙 PC 适配全记录：保留 Scintilla 内核，用 Qt 重建桌面外壳

avatar 开源鸿蒙跨平台开发者社区
cover

HarmonyOS鸿蒙App 增加本地密码哈希加密能力，支持三种 SHA 算法与三种编码格式，用一个组件实时生成高强度可记忆口令零权限开箱即用 —— hash_password 鸿蒙使用实战指南

avatar 开源鸿蒙跨平台开发者社区
  • 浏览量 949
  • 收藏 0
  • 0

所有评论(0)

查看更多评论 

心上之秋

@qq_35485206
已为社区贡献23条内容