Hadoop Failover失败类型和失败处理是什么
Admin 2022-09-24 群英技术资讯 763 次浏览
今天这篇我们来学习和了解“Hadoop Failover失败类型和失败处理是什么”，下文的讲解详细，步骤过程清晰，对大家进一步学习和理解“Hadoop Failover失败类型和失败处理是什么”有一定的帮助。有这方面学习需要的朋友就继续往下看吧！失败类型
- 程序问题
- 进程崩溃
- 硬件问题
失败处理
任务失败
- 运行时异常或者JVM退出都会报告给ApplicationMaster
- 通过心跳来检查挂住的任务(timeout)，会检查多次（可配置）才判断该任务是否失效
- 一个作业的任务失败率超过配置，则认为该作业失败
- 失败的任务或作业都会有ApplicationMaster重新运行
ApplicationMaster失败
- ApplicationMaster定时发送心跳信号到ResourceManager，通常一旦ApplicationMaster失败，则认为失败，但也可以通过配置多次后才失败
- 一旦ApplicationMaster失败，ResourceManager会启动一个新的ApplicationMaster
- 新的ApplicationMaster负责恢复之前错误的ApplicationMaster的状态(yarn.app.mapreduce.am.job.recovery.enable=true)，这一步是通过将应用运行状态保存到共享的存储上来实现的，ResourceManager不会负责任务状态的保存和恢复
- Client也会定时向ApplicationMaster查询进度和状态，一旦发现其失败，则向ResouceManager询问新的ApplicationMaster
NodeManager失败
- NodeManager定时发送心跳到ResourceManager，如果超过一段时间没有收到心跳消息，ResourceManager就会将其移除
- 任何运行在该NodeManager上的任务和ApplicationMaster都会在其他NodeManager上进行恢复
- 如果某个NodeManager失败的次数太多，ApplicationMaster会将其加入黑名单（ResourceManager没有），任务调度时不在其上运行任务
ResourceManager失败
- 通过checkpoint机制，定时将其状态保存到磁盘，然后失败的时候，重新运行
- 通过zookeeper同步状态和实现透明的HA
可以看出，一般的错误处理都是由当前模块的父模块进行监控（心跳）和恢复。而最顶端的模块则通过定时保存、同步状态和zookeeper来ֹ实现HA
到此这篇关于“Hadoop Failover失败类型和失败处理是什么”的文章就介绍到这了,更多相关内容请搜索群英网络以前的文章或继续浏览下面的相关文章，希望大家以后多多支持群英网络！
免责声明：本站发布的内容（图片、视频和文字）以原创、转载和分享为主，文章观点不代表本网站立场，如果涉及侵权请联系站长邮箱：mmqy2019@163.com进行举报，并提供相关证据，查实之后，将立刻删除涉嫌侵权内容。
猜你喜欢
-
Hadoop写文件的实现过程是什么
Hadoop写文件的实现及要点有哪些？1.客户端将文件写入本地磁盘的 HDFS Client 文件中；2.当临时文件大小达到一个 block 大小时，HDFS client 通知 NameNode，申请写入文件；3.NameNode 在 HDFS 的文件系统中创建一_来自Hadoop 教程，w3cschool编程狮。
-
Apache Pig中Foreach运算符语法是什么
FOREACH 运算符用于基于列数据生成指定的数据转换。语法下面给出了 FOREACH 运算符的语法。grunt> Relation_name2 = FOREACH Relatin_name1 GENERATE (required data);
-
Hadoop HDFS的可靠性主要包括哪些，怎么理解
hadoop可靠性主要包括了哪些，怎么理解？HDFS 的可靠性主要有以下几点:冗余副本策略、机架策略、心跳机制等等。下面我们来详细的了解一下
-
Apache Pig中Explain运算符能解决什么问题，如何用
explain 运算符用于显示关系的逻辑，物理和MapReduce执行计划。语法下面给出了 explain 运算符的语法。grunt> explain Relation_name;例假设在HDFS中有一个包含以下内容的文件 student_data.txt 。
-
Apache Pig的Grunt shell的应用场景和用法是什么
调用Grunt shell后，可以在shell中运行Pig脚本。除此之外，还有由Grunt shell提供的一些有用的shell和实用程序命令。本章讲解的是Grunt shell提供的shell和实用程序命令。注意:在本章的某些部分中，使用了Load和Store等命令。
推荐内容
相关标签
- Hadoop Failover失败类型和失败处理是什么？有不少朋友对于这个的问题比较感兴趣，下面小编给大家整理和分享了相关知识和资料，易于大家学习和理解，有需要
- 绑定域名和ip
- jquery替换类名
- 增加网站粘性
- float转Str
- 小米汽车
- html表单筛选
- scrollbar使用
- JavaScript中基本语法
- 迭代器和生成器
- Python元组
- php处理金额
- Matplotlib绘制振动图
- PHP查询成绩
- thinkphp中order方法
- RDS（关系型数据库服务）
- Flex布局可伸缩性
- 加强网络安全控制
- SQL server远程过程调用失败
- python的lambda表达式
- ===和==
成为群英会员,开启智能安全云计算之旅
立即注册
Copyright © QY Network Company Ltd. All Rights Reserved. 2003-2020 群英 版权所有
增值电信经营许可证 : B1.B2-20140078 粤ICP备09006778号 域名注册商资质 粤 D3.1-20240008
