Hadoop Failover失败类型和失败处理是什么
Admin 2022-09-24 群英技术资讯 1771 次浏览
今天这篇我们来学习和了解“Hadoop Failover失败类型和失败处理是什么”，下文的讲解详细，步骤过程清晰，对大家进一步学习和理解“Hadoop Failover失败类型和失败处理是什么”有一定的帮助。有这方面学习需要的朋友就继续往下看吧！失败类型
- 程序问题
- 进程崩溃
- 硬件问题
失败处理
任务失败
- 运行时异常或者JVM退出都会报告给ApplicationMaster
- 通过心跳来检查挂住的任务(timeout)，会检查多次（可配置）才判断该任务是否失效
- 一个作业的任务失败率超过配置，则认为该作业失败
- 失败的任务或作业都会有ApplicationMaster重新运行
ApplicationMaster失败
- ApplicationMaster定时发送心跳信号到ResourceManager，通常一旦ApplicationMaster失败，则认为失败，但也可以通过配置多次后才失败
- 一旦ApplicationMaster失败，ResourceManager会启动一个新的ApplicationMaster
- 新的ApplicationMaster负责恢复之前错误的ApplicationMaster的状态(yarn.app.mapreduce.am.job.recovery.enable=true)，这一步是通过将应用运行状态保存到共享的存储上来实现的，ResourceManager不会负责任务状态的保存和恢复
- Client也会定时向ApplicationMaster查询进度和状态，一旦发现其失败，则向ResouceManager询问新的ApplicationMaster
NodeManager失败
- NodeManager定时发送心跳到ResourceManager，如果超过一段时间没有收到心跳消息，ResourceManager就会将其移除
- 任何运行在该NodeManager上的任务和ApplicationMaster都会在其他NodeManager上进行恢复
- 如果某个NodeManager失败的次数太多，ApplicationMaster会将其加入黑名单（ResourceManager没有），任务调度时不在其上运行任务
ResourceManager失败
- 通过checkpoint机制，定时将其状态保存到磁盘，然后失败的时候，重新运行
- 通过zookeeper同步状态和实现透明的HA
可以看出，一般的错误处理都是由当前模块的父模块进行监控（心跳）和恢复。而最顶端的模块则通过定时保存、同步状态和zookeeper来ֹ实现HA
到此这篇关于“Hadoop Failover失败类型和失败处理是什么”的文章就介绍到这了,更多相关内容请搜索群英网络以前的文章或继续浏览下面的相关文章，希望大家以后多多支持群英网络！
免责声明：本站发布的内容（图片、视频和文字）以原创、转载和分享为主，文章观点不代表本网站立场，如果涉及侵权请联系站长邮箱：mmqy2019@163.com进行举报，并提供相关证据，查实之后，将立刻删除涉嫌侵权内容。
猜你喜欢
-
Hadoop编程处理是怎样，怎样理解
在这篇文章中我们来了解一下Hadoop 编程，一些朋友可能会遇到这方面的问题，对此在下文小编向大家来讲解一下，内容详细，易于理解，希望大家阅读完这篇能有收获哦，有需要的朋友就往下看吧
-
Pig Latin是什么，基础知识有哪些
Pig Latin是用于使用Apache Pig分析Hadoop中数据的语言。在本章中，我们将讨论Pig Latin的基础知识，如Pig Latin语句，数据类型，通用运算符，关系运算符和Pig Latin UDF。
-
浅谈Apache Pig中Eval函数列表函数及描述是什么
Apache Pig提供了各种内置函数，即 eval，load，store，math，string，bag 和 tuple 函数。Eval函数下面给出了Apache Pig提供的 eval 函数列表。S.N.函数 ＆ 描述1AVG()计算包内数值的平均值。
-
Apache Pig中Dump运算符用于做什么，怎样使用呢？
Load 语句会简单地将数据加载到Apache Pig中的指定关系中。要验证Load语句的执行，必须使用Diagnostic运算符。Pig Latin提供四种不同类型的诊断运算符: Dump运算符、Describe运算符、Explanation运算符、Illustration运算符
-
Apache Pig中Limit运算符有什么用
LIMIT 运算符用于从关系中获取有限数量的元组。语法下面给出了 LIMIT 运算符的语法。grunt> Result = LIMIT Relation_name required number of tuples;
推荐内容
成为群英会员,开启智能安全云计算之旅
立即注册关注或联系群英网络
7x24小时售前：400-678-4567
7x24小时售后：0668-2555666
24小时QQ客服
群英微信公众号
CNNIC域名投诉举报处理平台
服务电话：010-58813000
服务邮箱：service@cnnic.cn
投诉与建议：0668-2555555
Copyright © QY Network Company Ltd. All Rights Reserved. 2003-2020 群英 版权所有
增值电信经营许可证 : B1.B2-20140078 ICP核准（ICP备案）粤ICP备09006778号 域名注册商资质 粤 D3.1-20240008
