这篇文章主要讲解了“Spark框架模块包括什么，运行模式有哪些”，文中的讲解内容简单清晰，易于学习与理解，下面请大家跟着小编的思路慢慢深入，一起来研究和学习“Spark框架模块包括什么，运行模式有哪些”吧！

整个Spark 框架模块包含：Spark Core、 Spark SQL、 Spark Streaming、 Spark GraphX、 Spark MLlib，而后四项的能力都是建立在核心引擎之上。

Spark Core：Spark的核心，Spark核心功能均由Spark Core模块提供，是Spark运行的基础。Spark Core以RDD为数据抽象，提供Python、Java、Scala、R语言的API，可以编程进行海量离线数据批处理计算。

SparkSQL：基于SparkCore之上，提供结构化数据的处理模块。SparkSQL支持以SQL语言对数据进处理,SparkSQL本身针对离线计算场景。同时基于SparkSQL，Spark提供了StructuredStreaming模块，可以以SparkSQL为基础，进行数据的流式计算。

SparkStreaming：以SparkCore为基础，提供数据的流式计算功能。

MLlib：以SparkCore为基础，进行机器学习计算，内置了大量的机器学习库和API算法等。方便用户以分布式计算的模式进行机器学习计算。

GraphX：以SparkCore为基础，进行图计算，提供了大量的图计算API，方便用于以分布式计算模式进行图计算。

Spark提供多种运行模式，包括：

• 本地模式(单机)

本地模式就是以一个独立的进程，通过其内部的多个线程来模拟整个Spark运行时环境

• Standalone模式(集群)

Spark中的各个角色以独立进程的形式存在，并组成Spark集群环境

• Hadoop YARN模式(集群)

Spark中的各个角色运行在YARN的容器内部，并组成Spark集群环境

• Kubernetes模式(容器集群)

Spark中的各个角色运行在Kubernetes的容器内部，并组成Spark集群环境

• 云服务模式(运行在云平台上)

上述内容具有一定的借鉴价值，感兴趣的朋友可以参考，希望能对大家有帮助，想要了解更多"Spark框架模块包括什么，运行模式有哪些"的内容，大家可以关注群英网络的其它相关文章。

免责声明：本站发布的内容（图片、视频和文字）以原创、转载和分享为主，文章观点不代表本网站立场，如果涉及侵权请联系站长邮箱：mmqy2019@163.com进行举报，并提供相关证据，查实之后，将立刻删除涉嫌侵权内容。

猜你喜欢

• Python中Whoosh是什么，具体作用和用法是怎样

  本文将为大家简单介绍一下Python中的一个轻量级搜索工具Whoosh，并给出相应的使用示例代码，感兴趣的小伙伴可以跟随小编一起学习一下

•  利用Boxplot写箱线图的代码是什么

  本文主要介绍了Python pyecharts Boxplot箱线图的实现，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧

• Python中绘制实现PMI数据图形展示的方法是什么

  这篇文章主要介绍了Python数据分析之PMI数据图形展示，文章介绍了简单的python爬虫,并使用numpy进行了简单的数据处理，最终使用 matplotlib 进行图形绘制，实现了直观的方式展示制造业和非制造业指数图形,需要的朋友可以参考一下

• 如何用Python写一个简易的倒计时exe

  这篇文章主要为大家详细介绍了python实现简单倒计时功能，文中示例代码介绍的非常详细，具有一定的参考价值，感兴趣的小伙伴们可以参考一下

• Python元组有哪些鲜为人知的用法

  元组是Python中一种重要的内置数据类型。与列表一样，我们经常使用元组将多个对象保存为相应的数据容器。本文为大家总结了元组的三个不常用特性，感兴趣的小伙伴可以了解一下