Hadoop 集群的启动与关闭（HDFS,YARN,HBase）

一、启动顺序（从底层到上层）

启动时，必须先启动被依赖的服务。HBase 依赖 HDFS 进行数据存储，因此 HDFS 必须先启动。YARN 作为资源管理器，通常与 HDFS 一起启动。

启动顺序：HDFS → YARN → HBase

步骤 1：启动 HDFS (分布式文件系统)

HDFS 是整个集群的基础，必须首先启动。

• 执行节点：在 HDFS 的主节点（通常是 hadoop102）上执行。

• 命令（绝对路径）：

  /opt/module/hadoop-3.1.3/sbin/start-dfs.sh
  

• 验证：在所有节点上执行 jps 命令。

  • hadoop102 应看到 NameNode 和 DataNode。
  • hadoop103 应看到 DataNode。
  • hadoop104 应看到 DataNode 和 SecondaryNameNode。

步骤 2：启动 YARN (资源管理器)

YARN 负责管理集群的计算资源，通常在 HDFS 启动后启动。

• 执行节点：在 YARN 的主节点（通常是 hadoop103）上执行。

• 命令（绝对路径）：

  /opt/module/hadoop-3.1.3/sbin/start-yarn.sh
  

• 验证：在所有节点上执行 jps 命令。

  • hadoop103 应看到 ResourceManager。
  • hadoop102, hadoop103, hadoop104 都应看到 NodeManager。

步骤 3：启动 HBase (分布式数据库)

HBase 是上层应用，依赖 HDFS 和 ZooKeeper，因此最后启动。

• 执行节点：在 HBase 的主节点（通常是 hadoop102）上执行。

• 命令（绝对路径）：

  /opt/module/hbase-2.4.18/bin/start-hbase.sh
  

• 验证：在所有节点上执行 jps 命令。

  • hadoop102 应看到 HMaster。
  • hadoop103 和 hadoop104 应看到 HRegionServer 和 HQuorumPeer (HBase 内置的 ZooKeeper)。

---

二、关闭顺序（从上层到下层）

关闭时，必须先关闭依赖其他服务的服务，否则会导致数据写入不完整或进程强制终止。

关闭顺序：HBase → YARN → HDFS

步骤 1：关闭 HBase (分布式数据库)

首先关闭 HBase，确保所有数据都已从内存刷新到 HDFS，避免数据丢失。

• 执行节点：在 HBase 的主节点（hadoop102）上执行。

• 命令（绝对路径）：

  /opt/module/hbase-2.4.18/bin/stop-hbase.sh
  

• 验证：在所有节点上执行 jps 命令，确认 HMaster, HRegionServer, HQuorumPeer 进程已消失。

步骤 2：关闭 YARN (资源管理器)

HBase 关闭后，再关闭 YARN。

• 执行节点：在 YARN 的主节点（hadoop103）上执行。

• 命令（绝对路径）：

  /opt/module/hadoop-3.1.3/sbin/stop-yarn.sh
  

• 验证：在所有节点上执行 jps 命令，确认 ResourceManager 和 NodeManager 进程已消失。

步骤 3：关闭 HDFS (分布式文件系统)

最后关闭 HDFS，因为它是最底层的服务，此时已没有上层应用在使用它。

• 执行节点：在 HDFS 的主节点（hadoop102）上执行。

• 命令（绝对路径）：

  /opt/module/hadoop-3.1.3/sbin/stop-dfs.sh
  

• 验证：在所有节点上执行 jps 命令，确认 NameNode, DataNode, SecondaryNameNode 进程已消失。

---

总结与速查表

操作顺序	服务名称	执行节点	命令（绝对路径）	验证方法 (在所有节点执行 jps)
启动 1	HDFS	hadoop102	/opt/module/hadoop-3.1.3/sbin/start-dfs.sh	NameNode, DataNode, SecondaryNameNode 是否存在
启动 2	YARN	hadoop103	/opt/module/hadoop-3.1.3/sbin/start-yarn.sh	ResourceManager, NodeManager 是否存在
启动 3	HBase	hadoop102	/opt/module/hbase-2.4.18/bin/start-hbase.sh	HMaster, HRegionServer, HQuorumPeer 是否存在
关闭 1	HBase	hadoop102	/opt/module/hbase-2.4.18/bin/stop-hbase.sh	HMaster, HRegionServer, HQuorumPeer 是否消失
关闭 2	YARN	hadoop103	/opt/module/hadoop-3.1.3/sbin/stop-yarn.sh	ResourceManager, NodeManager 是否消失
关闭 3	HDFS	hadoop102	/opt/module/hadoop-3.1.3/sbin/stop-dfs.sh	NameNode, DataNode, SecondaryNameNode 是否消失

遵循这个顺序操作，且使用绝对路径执行命令，可以避免因环境变量配置问题导致的 “命令未找到” 错误，最大程度保证你的分布式集群安全、稳定地运行和关闭。