准备工作
确保集群中各节点已安装并配置好 Java 环境，且版本符合 Spark 要求。
规划好集群中节点的角色，如 Master 节点、Worker 节点等，并确保各节点之间网络畅通，能相互访问。
安装 Hadoop
配置 Spark on YARN
下载适合你系统的 Hadoop 版本，解压到指定目录。
配置 Hadoop 的核心配置文件，如core-site.xml、hdfs-site.xml、mapred-site.xml和yarn-site.xml，设置相关参数，如文件系统路径、资源分配等。
格式化 Hadoop 文件系统（通常在 Master 节点上执行）：hdfs namenode -format。
启动 Hadoop 集群，包括 NameNode、DataNode、ResourceManager 和 NodeManager 等服务。
安装 Spark
下载 Spark 安装包，解压到集群各节点的指定目录。
进入 Spark 的配置目录，复制spark-env.sh.template为spark-env.sh，并进行编辑，设置以下环境变量：
export JAVA_HOME=/path/to/java（替换为实际的 Java 安装路径）
export