Standalone是什么，进程类型有哪些
Admin 2022-06-10 群英技术资讯 954 次浏览
这篇文章给大家介绍了“Standalone是什么，进程类型有哪些”的相关知识，讲解详细，步骤过程清晰，有一定的借鉴学习价值，因此分享给大家做个参考，感兴趣的朋友接下来一起跟随小编看看吧。Standalone是什么
Standalone模式是Spark自带的一种集群模式，不同于前面本地模式启动多个进程来模拟集群的环境，Standalone模式是真实地在多个机器之间搭建Spark集群的环境，完全可以利用该模式搭建多机器集群，用于实际的大数据处理。
StandAlone 是完整的Spark运行环境,其中: Master角色以Master进程存在, Worker角色以Worker进程存在 Driver和Executor运行于Worker进程内, 由Worker提供资源供给它们运行。
StandAlone集群在进程上主要有3类进程:
（1）主节点Master进程：
Master角色, 管理整个集群资源，并托管运行各个任务的Driver
（2）从节点Workers：
Worker角色, 管理每个机器的资源，分配对应的资源来运行Executor(Task); 每个从节点分配资源信息给Worker管理，资源信息包含内存Memory和CPU Cores核数。
（3）历史服务器HistoryServer(可选)：
Spark Application运行完成以后，保存事件日志数据至HDFS，启动HistoryServer可以查看应用运行相关信息。Spark的历史服务器, 功能: 将Spark运行的程序的历史日志记录下来, 通过历史服务器方便用户查看程序运行的历史信息。
这篇关于“Standalone是什么，进程类型有哪些”的文章就介绍到这了,更多相关的内容，欢迎关注群英网络，小编将为大家输出更多高质量的实用文章！
免责声明：本站发布的内容（图片、视频和文字）以原创、转载和分享为主，文章观点不代表本网站立场，如果涉及侵权请联系站长邮箱：mmqy2019@163.com进行举报，并提供相关证据，查实之后，将立刻删除涉嫌侵权内容。
猜你喜欢
-
Django实例讲解：用prefect_related解决join操作导致数据膨胀的问题
在实际的开发中,模型之间经常存在复杂的关联关系,下面这篇文章主要给大家介绍了关于Django中select_related和prefetch_related的用法与区别的相关资料,需要的朋友可以参考下
-
python中getattr函数的用法是怎样的
getattr是python里的一个内建函数getattr()这个方法最主要的作用是实现反射机制。也就是说可以通过字符串获取方法实例。这样，你就可以把一个类可能要调用的方法放在配置文件里，在需要的时候动态加载。python里面跟getattr相关的有hasattr,setattr,delattr ,那么我们通过下面的例子，来详细的说说他们的用法。1classXiaorui:2
-
Python数据集标签统计操作如何实现，代码是什么
这篇文章主要介绍了Python 统计数据集标签的类别及数目操作，具有很好的参考价值，希望对大家有所帮助。如有错误或未考虑完全的地方，望不吝赐教
-
Python实现图片转字符画原理及方法是什么
这篇文章主要介绍了利用Python 实现图片转字符画，要将图片转字符画，需要先定义一个字符集，用来和灰度值做映射，将图片每个像素的 RGB 值转换为一个灰度值，将其对应的字符输出就得到字符画
-
Python获得命令行参数怎么做，代码是什么
如果想对python脚本传参数，python中对应的argc,argv(c语言的命令行参数)是什么呢？需要模块：sys参数个数：len(sys.argv)脚本名： sys.argv[0]参数1： sys.argv[1]参数2： sys.argv[2]test.py1import sys2print "脚本名：",sys.argv[0]
推荐内容
成为群英会员,开启智能安全云计算之旅
立即注册关注或联系群英网络
7x24小时售前：400-678-4567
7x24小时售后：0668-2555666
24小时QQ客服
群英微信公众号
CNNIC域名投诉举报处理平台
服务电话：010-58813000
服务邮箱：service@cnnic.cn
投诉与建议：0668-2555555
Copyright © QY Network Company Ltd. All Rights Reserved. 2003-2020 群英 版权所有
增值电信经营许可证 : B1.B2-20140078 ICP核准（ICP备案）粤ICP备09006778号 域名注册商资质 粤 D3.1-20240008
