Spark集群的三种部署模式

1. Standalone模式:也叫作独立模式,自带完整的服务,可单独部署到一个集群中,无需依赖任何其他资源管理系统,便于搭建和管理小型集群。

2. YARN运行模式:Spark使用Hadoop的YARN组件进行资源与任务调度,实现了真正意义上Spark与外部的对接协作,充分利用Hadoop生态系统的资源管理能力,适用于已经部署了Hadoop集群的场景。

3. Local模式:在本地部署单个Spark服务,比较适合简单了解spark目录结构,熟悉配置文件,简单跑一下demo示例等调试场景,方便开发者在本地进行开发和测试。

Logo

开源鸿蒙跨平台开发社区汇聚开发者与厂商,共建“一次开发,多端部署”的开源生态,致力于降低跨端开发门槛,推动万物智联创新。

更多推荐