Spark部署模式分别是哪些，怎么理解-群英

上一篇：Python中用什么方法来实现3D曲面图下一篇：matplotlib颜色映射表怎么查看，颜色映射表有几类

这篇文章主要讲解了“Spark部署模式分别是哪些，怎么理解”，文中的讲解内容简单、清晰、详细，对大家学习或是工作可能会有一定的帮助，希望大家阅读完这篇文章能有所收获。下面就请大家跟着小编的思路一起来学习一下吧。

Spark部署模式分为Local模式(本地单机模式)和集群模式，在Local模式下，常用于本地开发程序与测试，而集群模式又分为Standalone模式(集群单机模式)、Yarn模式和Mesos模式，关于这三种集群模式的相关介绍具体如下：

1.Standalone模式

Standalone模式被称为集群单机模式。Spark框架与Hadoop1.0版本框架类似，本身都自带了完整的资源调度管理服务，可以独立部署到一个集群中，无需依赖任何其他的资源管理系统，在该模式下，Spark集群架构为主从模式，即一台Master节点与多台Slave节点，Slave节点启动的进程名称为Worker，此时集群会存在单点故障问题，后续将在Spark HA集群部署小节讲解利用Zookeeper解决单点问题的方案。

2.Yarn模式

Yarn模式被称为Spark on Yarn模式，即把Spark作为一个客户端，将作业提交给Yarn服务，由于在生产环境中，很多时候都要与Hadoop使用同一个集群，因此采用Yarn来管理资源调度，可以有效提高资源利用率，Yarn模式又分为Yarn Cluster模式和Yarn Client模式，具体介绍如下：

lYarn Cluster：用于生产环境，所有的资源调度和计算都在集群上运行。

lYarn Client：用于交互、调试环境。

3.Mesos模式

Mesos模式被称为Spark on Mesos模式，Mesos与Yarn同样是一款资源调度管理系统，可以为Spark提供服务，由于Spark与Mesos存在密切的关系，因此在设计Spark框架时充分考虑到了对Mesos的集成，但如果你同时运行Hadoop和Spark，从兼容性的角度来看，Spark on Yarn是更好的选择。

到此这篇关于“Spark部署模式分别是哪些，怎么理解”的文章就介绍到这了,更多相关Spark部署模式分别是哪些，怎么理解内容，欢迎关注群英网络技术资讯频道，小编将为大家输出更多高质量的实用文章！