配置集群-日志聚集操作
一、配置运行任务的日志
与历史命令相配套的还有对应的执行的日志。
它的入口在上面的位置。点击之后，我们去查看：
发现看不了。接下来我们就去配置一下，让它能够访问。
这个操作叫日志聚集。由于任务是在具体的节点上运行的，所以运行日志也是产生在具体的节点上，但是我们希望应用完成以后，将程序运行日志信息上传到HDFS系统上，这样就可以方便的查看到程序运行详情，方便开发调试。
注意：开启日志聚集功能，需要重新启动NodeManager 、ResourceManager和HistoryServer。
开启日志聚集功能具体步骤如下：
（1）配置yarn-site.xml
打开yarn-site.xml文件
（2）分发配置
和之前的配置一样，我们需要把这个更新之后的yarn-site.xml文件同步到其他的机器。这里还是使用脚本xsync。具体如下：
xsync /opt/module/hadoop-3.1.3/etc/hadoop/yarn-site.xml
（3）重启ResourceManager和HistoryServer
进入到我们安装yarn的主机，通过命令来关闭掉yarn和historyServer，然后再重启。
[root@hadoop103 hadoop-3.1.3]$ sbin/stop-yarn.sh
[root@hadoop103 hadoop-3.1.3]$ mapred --daemon stop historyserver
启动ResourceManage和HistoryServer
start-yarn.sh
mapred --daemon start historyserver
二、测试运行任务的日志
前面我们已经完成了任务日记的聚集，下面我们来看看是不是配置正确了。我们需要重新运行wordcount应用，然后再去看看是不是正确生成了日志。
（1）重新执行WordCount程序
命令如下：
[root@hadoop100 hadoop-3.1.3]$ hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-3.1.3.jar wordcount /input /output
（2）查看日志
如果一切正常，我们打开历史服务器地址http://hadoop101:19888/jobhistory 可以看到历史任务列表，如下：
点击对应的JobID，就可以进一步查看任务运行日志
然后在点击logs，就可以查看运行日志的详情了。
（四）集群启动/停止方式命令小结
我们配置了多台服务器，并且每台服务器上运行的任务都不太相同，我们可以使用jps命令来查看每台设备上的运行任务。
具体说明如下：
- DataNode，它是hdfs的模块之一，每台服务器都有。
- NameNode, hdfs的核心服务，只有一个。
- SecondaryNameNode，hdfs的核心服务，是NameNode的备份。
- RourceManager, Yarn的核心服务，只有一个。
- NodeManager,Yarn的核心模块，每台服务器都有。
我们可以通过这些关键进程的名称来判断当前集群是否正常运转。
1.各个模块分开启动/停止
（1） 整体启动/停止HDFS： start-dfs.sh/stop-dfs.sh
（2） 整体启动/停止YARN： start-yarn.sh/stop-yarn.sh
2.各个服务组件逐一启动/停止
（1）分别启动/停止HDFS组件
hdfs --daemon start/stop namenode/datanode/secondarynamenode
（2）启动/停止YARN组件
yarn --daemon start/stop resourcemanager/nodemanager/historyserver
开源鸿蒙跨平台开发社区汇聚开发者与厂商，共建“一次开发，多端部署”的开源生态，致力于降低跨端开发门槛，推动万物智联创新。
更多推荐
27
0- 0
已为社区贡献1条内容
所有评论(0)