Spark框架模块包括什么，运行模式有哪些-群英

上一篇：Python中用pyplot怎样画误差棒图，方法是什么下一篇：Python切片索引的使用方法是怎样，哪些事项要注意

这篇文章主要讲解了“Spark框架模块包括什么，运行模式有哪些”，文中的讲解内容简单清晰，易于学习与理解，下面请大家跟着小编的思路慢慢深入，一起来研究和学习“Spark框架模块包括什么，运行模式有哪些”吧！

整个Spark 框架模块包含：Spark Core、 Spark SQL、 Spark Streaming、 Spark GraphX、 Spark MLlib，而后四项的能力都是建立在核心引擎之上。

Sparkd的框架模块和运行模式

Spark Core：Spark的核心，Spark核心功能均由Spark Core模块提供，是Spark运行的基础。Spark Core以RDD为数据抽象，提供Python、Java、Scala、R语言的API，可以编程进行海量离线数据批处理计算。

SparkSQL：基于SparkCore之上，提供结构化数据的处理模块。SparkSQL支持以SQL语言对数据进处理,SparkSQL本身针对离线计算场景。同时基于SparkSQL，Spark提供了StructuredStreaming模块，可以以SparkSQL为基础，进行数据的流式计算。

SparkStreaming：以SparkCore为基础，提供数据的流式计算功能。

MLlib：以SparkCore为基础，进行机器学习计算，内置了大量的机器学习库和API算法等。方便用户以分布式计算的模式进行机器学习计算。

GraphX：以SparkCore为基础，进行图计算，提供了大量的图计算API，方便用于以分布式计算模式进行图计算。

Spark提供多种运行模式，包括：

本地模式就是以一个独立的进程，通过其内部的多个线程来模拟整个Spark运行时环境

Spark中的各个角色以独立进程的形式存在，并组成Spark集群环境

Spark中的各个角色运行在YARN的容器内部，并组成Spark集群环境

Spark中的各个角色运行在Kubernetes的容器内部，并组成Spark集群环境

上述内容具有一定的借鉴价值，感兴趣的朋友可以参考，希望能对大家有帮助，想要了解更多"Spark框架模块包括什么，运行模式有哪些"的内容，大家可以关注群英网络的其它相关文章。

标签： Spark框架模块

免责声明：本站发布的内容（图片、视频和文字）以原创、转载和分享为主，文章观点不代表本网站立场，如果涉及侵权请联系站长邮箱：mmqy2019@163.com进行举报，并提供相关证据，查实之后，将立刻删除涉嫌侵权内容。

上一篇：Python中用pyplot怎样画误差棒图，方法是什么下一篇：Python切片索引的使用方法是怎样，哪些事项要注意