这篇文章主要讲解了“Spark部署模式分别是哪些，怎么理解”，文中的讲解内容简单、清晰、详细，对大家学习或是工作可能会有一定的帮助，希望大家阅读完这篇文章能有所收获。下面就请大家跟着小编的思路一起来学习一下吧。

Spark部署模式分为Local模式(本地单机模式)和集群模式，在Local模式下，常用于本地开发程序与测试，而集群模式又分为Standalone模式(集群单机模式)、Yarn模式和Mesos模式，关于这三种集群模式的相关介绍具体如下：

1.Standalone模式

Standalone模式被称为集群单机模式。Spark框架与Hadoop1.0版本框架类似，本身都自带了完整的资源调度管理服务，可以独立部署到一个集群中，无需依赖任何其他的资源管理系统，在该模式下，Spark集群架构为主从模式，即一台Master节点与多台Slave节点，Slave节点启动的进程名称为Worker，此时集群会存在单点故障问题，后续将在Spark HA集群部署小节讲解利用Zookeeper解决单点问题的方案。

2.Yarn模式

Yarn模式被称为Spark on Yarn模式，即把Spark作为一个客户端，将作业提交给Yarn服务，由于在生产环境中，很多时候都要与Hadoop使用同一个集群，因此采用Yarn来管理资源调度，可以有效提高资源利用率，Yarn模式又分为Yarn Cluster模式和Yarn Client模式，具体介绍如下：

lYarn Cluster：用于生产环境，所有的资源调度和计算都在集群上运行。

lYarn Client：用于交互、调试环境。

3.Mesos模式

Mesos模式被称为Spark on Mesos模式，Mesos与Yarn同样是一款资源调度管理系统，可以为Spark提供服务，由于Spark与Mesos存在密切的关系，因此在设计Spark框架时充分考虑到了对Mesos的集成，但如果你同时运行Hadoop和Spark，从 兼 容 性 的 角 度 来 看 ，Spark on Yarn是更好的选择。

到此这篇关于“Spark部署模式分别是哪些，怎么理解”的文章就介绍到这了,更多相关Spark部署模式分别是哪些，怎么理解内容，欢迎关注群英网络技术资讯频道，小编将为大家输出更多高质量的实用文章！

免责声明：本站发布的内容（图片、视频和文字）以原创、转载和分享为主，文章观点不代表本网站立场，如果涉及侵权请联系站长邮箱：mmqy2019@163.com进行举报，并提供相关证据，查实之后，将立刻删除涉嫌侵权内容。

猜你喜欢

• Python怎么做数据动态图，代码是什么

  这篇文章主要为大家详细介绍了如何利用Python语言绘制好看的数据动态图，文中的示例代码讲解详细，感兴趣的小伙伴可以跟随小编一起动手尝试一下

• 使用python列表合并的方法有哪些？

  我们有时候需要对列表list合并操作，那么使用python列表合并的方法有哪些呢？下面给大家分享四个列表list合并的方法，其中的代码都在Python3下测试通过，下面我们就一起来看看吧。

• 利用scipy实现保存图片怎么做，哪些事项要注意

  这篇文章主要介绍了Python使用scipy保存图片的一些注意点，具有很好的参考价值，希望对大家有所帮助。如有错误或未考虑完全的地方，望不吝赐教

• Python中用Matplotlib制作动态数据图的代码是什么

  这篇文章主要为大家详细介绍了如何让Matplotlib、Seaborn的静态数据图动起来，变得栩栩如生。文中的示例代码讲解详细，感兴趣的小伙伴可以学习一下

• Python继承和多态用于什么，有何好处

  继承用于指定一个类将从其父类获取其大部分或全部功能。 它是面向对象编程的一个特征。 这是一个非常强大的功能，方便用户对现有类进行几个或多个修改来创建一个新的类。新类称为子类或派生类，从其继承属性的主类称为基类或父类。