今天就跟大家聊聊有关“Hadoop ApplicationMaster的功能是什么，如何应用”的内容，可能很多人都不太了解，为了让大家认识和更进一步的了解，小编给大家总结了以下内容，希望这篇“Hadoop ApplicationMaster的功能是什么，如何应用”文章能对大家有帮助。

单个作业的资源管理和任务监控

具体功能描述：

1. 计算应用的资源需求，资源可以是静态或动态计算的，静态的一般是Client申请时就指定了，动态则需要ApplicationMaster根据应用的运行状态来决定
2. 根据数据来申请对应位置的资源（Data Locality）
3. 向ResourceManager申请资源，与NodeManager交互进行程序的运行和监控，监控申请的资源的使用情况，监控作业进度
4. 跟踪任务状态和进度，定时向ResourceManager发送心跳消息，报告资源的使用情况和应用的进度信息
5. 负责本作业内的任务的容错

ApplicationMaster可以是用任何语言编写的程序，它和ResourceManager和NodeManager之间是通过ProtocolBuf交互，以前是一个全局的JobTracker负责的，现在每个作业都一个，可伸缩性更强，至少不会因为作业太多，造成JobTracker瓶颈。同时将作业的逻辑放到一个独立的ApplicationMaster中，使得灵活性更加高，每个作业都可以有自己的处理方式，不用绑定到MapReduce的处理模式上

如何计算资源需求

一般的MapReduce是根据block数量来定Map和Reduce的计算数量，然后一般的Map或Reduce就占用一个Container

如何发现数据的本地化

数据本地化是通过HDFS的block分片信息获取的

上述内容具有一定的借鉴价值，感兴趣的朋友可以参考，希望能对大家有帮助，想要了解更多"Hadoop ApplicationMaster的功能是什么，如何应用"的内容，大家可以关注群英网络的其它相关文章。

免责声明：本站发布的内容（图片、视频和文字）以原创、转载和分享为主，文章观点不代表本网站立场，如果涉及侵权请联系站长邮箱：mmqy2019@163.com进行举报，并提供相关证据，查实之后，将立刻删除涉嫌侵权内容。

猜你喜欢

• Apache Pig中Foreach运算符语法是什么

  FOREACH 运算符用于基于列数据生成指定的数据转换。语法下面给出了 FOREACH 运算符的语法。grunt> Relation_name2 = FOREACH Relatin_name1 GENERATE (required data);

• Apache Pig中Explain运算符能解决什么问题，如何用

  explain 运算符用于显示关系的逻辑，物理和MapReduce执行计划。语法下面给出了 explain 运算符的语法。grunt> explain Relation_name;例假设在HDFS中有一个包含以下内容的文件 student_data.txt 。

• 元数据是什么？一文带你快速了解元数据

  元数据是什么？在大数据时代，元数据具有巨大的潜力，但是很多并不了解元素。因此，这篇文章小编就带大家快速的了解元数据是什么，感兴趣的朋友就继续往看吧。

• Apache Pig中Dump运算符用于做什么，怎样使用呢？

  Load 语句会简单地将数据加载到Apache Pig中的指定关系中。要验证Load语句的执行，必须使用Diagnostic运算符。Pig Latin提供四种不同类型的诊断运算符: Dump运算符、Describe运算符、Explanation运算符、Illustration运算符

• hadoop的使用场景有哪些，适合做什么

  Hadoop可运行于一般的商用服务器上，具有高容错、高可靠性、高扩展性等特点特别适合写一次，读多次的场景适合大规模数据、流式数据（写一次，读多次）、商用硬件（一般硬件）；