今天我们来学习关于“Hadoop HDFS的可靠性主要包括哪些，怎么理解”的内容，下文有详解方法和实例，内容详细，逻辑清晰，有需要的朋友可以参考，希望大家阅读完这篇文章后能有所收获，那么下面就一起来了解一下吧。

HDFS - 可靠性

HDFS 的可靠性主要有以下几点:

• 冗余副本策略
• 机架策略
• 心跳机制
• 安全模式
• 效验和
• 回收站
• 元数据保护
• 快照机制

1.冗余副本策略

　　可以在 hdfs-site.xml 中设置复制因子指定副本数量

　　所有数据块都可副本

　　DataNode 启动时,遍历本地文件系统,产生一份 HDFS 数据块和本地文件的对应关系列表 (blockreport) 汇报给 Namenode

2.机架策略

　　HDFS 的"机架感知",通过节点之间发送一个数据包,来感应它们是否在同一个机架

　　一般在本机架放一个副本,在其他机架再存放一个副本,这样可以防止机架失效时丢失数据,也可以提高带宽利用率

3.心跳机制

　　NameNode 周期性从 DataNode 接受心跳信息和块报告

　　NameNode 根据块报告验证元数据

　　没有按时发送心跳的 DataNode 会被标记为宕机,不会再给他任何 I/O 请求

　　如果 DataNode 失效造成副本数量下降,并且低于预先设定的值,NameNode 会检测出这些数据库,并在合适的时机重新复制

　　引发重新复制的原因还包括数据副本本身损坏,磁盘错误,复制因子被增大等

4.安全模式

　　NameNode 启动时会先经过一个 "安全模式" 阶段

　　安全模式阶段不会产生数据写

　　在此阶段 NameNode 收集各个 DataNode 的报告, 当数据块达到最小副本数以上时,会被认为是"安全"的

　　在一定比例(可设置) 的数据块被确定为"安全" 后 ,在过若干时间,安全模式结束

　　当检测到副本数不足的数据块时,该块会被复制,直到达到最小副本数

5.效验和　　

　　在文件创立时,每个数据块都产生效验和

　　效验和会作为单独一个隐藏文件保存在命名空间下

　　客户端获取数据时可以检查效验和是否相同,从而发现数据块是否损坏

　　如果正在读取的数据块损坏,则可以继续读取其他副本

6.回收站

　　删除文件时,其实是放入回收站 /trash

　　回收站里的文件是可以快速恢复的

　　可以设置一个时间值,当回收站里文件的存放时间超过了这个值,就被彻底删除,并且释放占用的数据块

7.元数据保护

　　映像文件和事物日志是 NameNode 的核心数据.可以配置为拥有多个副本

　　副本会降低 NameNode 的处理速度,但增加安全性

　　NameNode 依然是单点,如果发生故障要手工切换

免责声明：本站发布的内容（图片、视频和文字）以原创、转载和分享为主，文章观点不代表本网站立场，如果涉及侵权请联系站长邮箱：mmqy2019@163.com进行举报，并提供相关证据，查实之后，将立刻删除涉嫌侵权内容。

猜你喜欢

• Apache Pig中cogroup与group运算符有何异同

  COGROUP 运算符的运作方式与 GROUP 运算符相同。两个运算符之间的唯一区别是 group 运算符通常用于一个关系，而 cogroup 运算符用于涉及两个或多个关系的语句。

• Apache Pig中Math函数都有哪些，分别什么作用

  我们在Apache Pig中有以下Math（数学）函数:S.N.函数 ＆ 描述1ABS(expression)获取表达式的绝对值。2ACOS(expression)获得表达式的反余弦值。3ASIN(expression)获取表达式的反正弦值。

• Hadoop配置的准备工作及具体操作是什么

  配置hadoop之前做好准备工作1.修改主机名称，我这里创建了三个虚拟主机，分别命名node-1，node-2，node-3，进入 network 文件删掉里面的内容直接写上主机名就可以了vi /etc/sysconfig/network2.映射 IP 和主机名，之后 reboot 重启主机

• 大数据是什么？对大数据的通俗理解

  大数据是什么？对于大数据想必大家都有听过，但是很多对于大数据是什么其实并不清楚，下面小编就给大家简单介绍下，如何大数据？感兴趣的朋友可以看看。

• Pig Latin是什么，基础知识有哪些

  Pig Latin是用于使用Apache Pig分析Hadoop中数据的语言。在本章中，我们将讨论Pig Latin的基础知识，如Pig Latin语句，数据类型，通用运算符，关系运算符和Pig Latin UDF。