hadoop的使用场景有哪些，适合做什么
Admin 2022-09-26 群英技术资讯 1239 次浏览
今天这篇给大家分享的知识是“hadoop的使用场景有哪些，适合做什么”,小编觉得挺不错的，对大家学习或是工作可能会有所帮助，对此分享发大家做个参考，希望这篇“hadoop的使用场景有哪些，适合做什么”文章能帮助大家解决问题。Hadoop可运行于一般的商用服务器上，具有高容错、高可靠性、高扩展性等特点特别适合写一次，读多次的场景
适合
- 大规模数据
- 流式数据（写一次，读多次）
- 商用硬件（一般硬件）
不适合
- 低延时的数据访问
- 大量的小文件
- 频繁修改文件（基本就是写1次）
Hadoop架构
- HDFS: 分布式文件存储
- YARN: 分布式资源管理
- MapReduce: 分布式计算
- Others: 利用YARN的资源管理功能实现其他的数据处理方式
内部各个节点基本都是采用Master-Woker架构
现在大家对于hadoop的使用场景有哪些，适合做什么的内容应该都有一定的认识了吧，希望这篇能对大家有所帮助。最后，想要了解更多，欢迎关注群英网络，群英网络将为大家推送更多相关的文章。
免责声明：本站发布的内容（图片、视频和文字）以原创、转载和分享为主，文章观点不代表本网站立场，如果涉及侵权请联系站长邮箱：mmqy2019@163.com进行举报，并提供相关证据，查实之后，将立刻删除涉嫌侵权内容。
猜你喜欢
-
怎么创建RDD，具体的实现方式是怎样
RDD的创建可以通过2种方式， 通过并行化集合创建( 本地对象转分布式RDD )和通过读取外部数据源( 读取文件)创建，如下：
-
Apache Pig脚本注释和运行是什么
在本章中，我们将了解如何以批处理模式运行Apache Pig脚本。Pig脚本中的注释在将脚本写入文件时，我们可以在其中包含注释，如下所示。多行注释我们将用'/*'开始多行注释，以'*/'结束。/*
-
如何理解Hadoop ResourceManager，有哪些要点
负责全局的资源管理和任务调度，把整个集群当成计算资源池，只关注分配，不管应用，且不负责容错 ；以前资源是每个节点分成一个个的Map slot和Reduce slot，现在是一个个Container，每个Container可以根据需要运行
-
浅谈Apache Pig中Eval函数列表函数及描述是什么
Apache Pig提供了各种内置函数，即 eval，load，store，math，string，bag 和 tuple 函数。Eval函数下面给出了Apache Pig提供的 eval 函数列表。S.N.函数 ＆ 描述1AVG()计算包内数值的平均值。
-
Apache Pig中Join运算符用来做什么，有哪些应用
JOIN 运算符用于组合来自两个或多个关系的记录。在执行连接操作时，我们从每个关系中声明一个（或一组）元组作为key。 当这些key匹配时，两个特定的元组匹配，否则记录将被丢弃。
推荐内容
成为群英会员,开启智能安全云计算之旅
立即注册
Copyright © QY Network Company Ltd. All Rights Reserved. 2003-2020 群英 版权所有
增值电信经营许可证 : B1.B2-20140078 粤ICP备09006778号 域名注册商资质 粤 D3.1-20240008
