Hadoop Failover失败类型和失败处理是什么
Admin 2022-09-24 群英技术资讯 1379 次浏览
今天这篇我们来学习和了解“Hadoop Failover失败类型和失败处理是什么”，下文的讲解详细，步骤过程清晰，对大家进一步学习和理解“Hadoop Failover失败类型和失败处理是什么”有一定的帮助。有这方面学习需要的朋友就继续往下看吧！失败类型
- 程序问题
- 进程崩溃
- 硬件问题
失败处理
任务失败
- 运行时异常或者JVM退出都会报告给ApplicationMaster
- 通过心跳来检查挂住的任务(timeout)，会检查多次（可配置）才判断该任务是否失效
- 一个作业的任务失败率超过配置，则认为该作业失败
- 失败的任务或作业都会有ApplicationMaster重新运行
ApplicationMaster失败
- ApplicationMaster定时发送心跳信号到ResourceManager，通常一旦ApplicationMaster失败，则认为失败，但也可以通过配置多次后才失败
- 一旦ApplicationMaster失败，ResourceManager会启动一个新的ApplicationMaster
- 新的ApplicationMaster负责恢复之前错误的ApplicationMaster的状态(yarn.app.mapreduce.am.job.recovery.enable=true)，这一步是通过将应用运行状态保存到共享的存储上来实现的，ResourceManager不会负责任务状态的保存和恢复
- Client也会定时向ApplicationMaster查询进度和状态，一旦发现其失败，则向ResouceManager询问新的ApplicationMaster
NodeManager失败
- NodeManager定时发送心跳到ResourceManager，如果超过一段时间没有收到心跳消息，ResourceManager就会将其移除
- 任何运行在该NodeManager上的任务和ApplicationMaster都会在其他NodeManager上进行恢复
- 如果某个NodeManager失败的次数太多，ApplicationMaster会将其加入黑名单（ResourceManager没有），任务调度时不在其上运行任务
ResourceManager失败
- 通过checkpoint机制，定时将其状态保存到磁盘，然后失败的时候，重新运行
- 通过zookeeper同步状态和实现透明的HA
可以看出，一般的错误处理都是由当前模块的父模块进行监控（心跳）和恢复。而最顶端的模块则通过定时保存、同步状态和zookeeper来ֹ实现HA
到此这篇关于“Hadoop Failover失败类型和失败处理是什么”的文章就介绍到这了,更多相关内容请搜索群英网络以前的文章或继续浏览下面的相关文章，希望大家以后多多支持群英网络！
免责声明：本站发布的内容（图片、视频和文字）以原创、转载和分享为主，文章观点不代表本网站立场，如果涉及侵权请联系站长邮箱：mmqy2019@163.com进行举报，并提供相关证据，查实之后，将立刻删除涉嫌侵权内容。
猜你喜欢
-
Apache Pig中Order By运算符用于做什么
ORDER BY 运算符用于以基于一个或多个字段的排序顺序显示关系的内容。语法下面给出了 ORDER BY 运算符的语法。grunt> Relation_name2 = ORDER Relatin_name1 BY (ASC|DESC);
-
什么是Apache Pig，其作用、特点和应用是什么
什么是Apache Pig？Apache Pig是MapReduce的一个抽象。它是一个工具/平台，用于分析较大的数据集，并将它们表示为数据流。Pig通常与 Hadoop 一起使用；我们可以使用Apache Pig在Hadoop中执行所有的数据处理操作
-
如何执行Apache Pig，执行模式有几种
在上一章中，我们解释了如何安装Apache Pig。在本章中，我们将讨论如何执行Apache Pig。Apache Pig执行模式你可以以两种模式运行Apache Pig，即Local（本地）模式和HDFS模式。Local模式在此模式下，所有文件都从本地主机和本地文件系统安装和运行
-
何使用Store运算符在Apache Pig中存储数据
在上一章中，我们学习了如何将数据加载到Apache Pig中。你可以使用 store 运算符将加载的数据存储在文件系统中，本章介绍如何使用 Store 运算符在Apache Pig中存储数据。语法下面给出了Store语句的语法。
-
Apache Pig中group运算符怎样使用
GROUP 运算符用于在一个或多个关系中对数据进行分组，它收集具有相同key的数据。语法下面给出了 group 运算符的语法。grunt> Group_data = GROUP Relation_name BY age;
推荐内容
成为群英会员,开启智能安全云计算之旅
立即注册关注或联系群英网络
7x24小时售前：400-678-4567
7x24小时售后：0668-2555666
24小时QQ客服
群英微信公众号
CNNIC域名投诉举报处理平台
服务电话：010-58813000
服务邮箱：service@cnnic.cn
投诉与建议：0668-2555555
Copyright © QY Network Company Ltd. All Rights Reserved. 2003-2020 群英 版权所有
增值电信经营许可证 : B1.B2-20140078 ICP核准（ICP备案）粤ICP备09006778号 域名注册商资质 粤 D3.1-20240008
