Standalone是什么

Standalone模式是Spark自带的一种集群模式，不同于前面本地模式启动多个进程来模拟集群的环境，Standalone模式是真实地在多个机器之间搭建Spark集群的环境，完全可以利用该模式搭建多机器集群，用于实际的大数据处理。

StandAlone 是完整的Spark运行环境,其中: Master角色以Master进程存在, Worker角色以Worker进程存在 Driver和Executor运行于Worker进程内, 由Worker提供资源供给它们运行。

StandAlone集群在进程上主要有3类进程:

（1）主节点Master进程：

Master角色, 管理整个集群资源，并托管运行各个任务的Driver

（2）从节点Workers：

Worker角色, 管理每个机器的资源，分配对应的资源来运行Executor(Task); 每个从节点分配资源信息给Worker管理，资源信息包含内存Memory和CPU Cores核数。

（3）历史服务器HistoryServer(可选)：

Spark Application运行完成以后，保存事件日志数据至HDFS，启动HistoryServer可以查看应用运行相关信息。Spark的历史服务器, 功能: 将Spark运行的程序的历史日志记录下来, 通过历史服务器方便用户查看程序运行的历史信息。

免责声明：本站发布的内容（图片、视频和文字）以原创、转载和分享为主，文章观点不代表本网站立场，如果涉及侵权请联系站长邮箱：mmqy2019@163.com进行举报，并提供相关证据，查实之后，将立刻删除涉嫌侵权内容。

猜你喜欢

• Python lambda函数的定义和普通函数不同在哪

  本文和你一起探索Python中的lambda函数，让你以最短的时间明白这个函数的原理。也可以利用碎片化的时间巩固这个函数，让你在处理工作过程中更高效

• Python文件的常见操作有哪些，你知道多少？

  这篇文章主要给大家分享的是关于Python文件的操作，下面有详细介绍Python文件读写原理、常用文件打开模式、文件对象的常用方法、目录的相关操作，对Python新手学习具有一定的借鉴价值，感兴趣的朋友就跟随小编一起来了解一下吧。

• python条件表达式的多项、双向分支示例介绍

  文本主要给大家介绍python条件表达式，python中的条件表达式在其他编程语言里也叫做三元运算符，本文会介绍python条件表达式的多项分支和双向分支，以及python双分支选择结构和三元运算符的使用。感兴趣的朋友就跟随小编一起来了解python条件表达式吧。。

• Python内置函数、自定义函数及main函数的用法是什么

  大家好，本篇文章主要讲的是Python的函数使用详解，感兴趣的同学赶快来看一看吧，对你有帮助的话记得收藏一下，方便下次浏览

• Python中循环语句、条件语句具体如何写

  Python条件语句是通过一条或多条语句的执行结果（True或者False）来决定执行的代码块,下面这篇文章主要给大家介绍了关于Python中条件语句、循环语句和pass语句使用的相关资料,需要的朋友可以参考下