大数据底层保持数据强一致性是如何实现的?

参与11

3同行回答

sxtycxxsxtycxx 解决方案经理人工智能(计算机视觉)
大数据底层的数据强一致性是通过HDFS的分布式架构中的冗余副本策略和心跳检测机制实现的,1、冗余副本策略:HDFS处理节点失效的一个方法就是数据冗余,即对数据做多个备份,在HDFS中可以通过配置文件设置备份的数量,默认是3副本,只有数据在3个副本上均完成写成功,才返回2、心跳机...显示全部

大数据底层的数据强一致性是通过HDFS的分布式架构中的冗余副本策略和心跳检测机制实现的,
1、冗余副本策略:HDFS处理节点失效的一个方法就是数据冗余,即对数据做多个备份,在HDFS中可以通过配置文件设置备份的数量,默认是3副本,只有数据在3个副本上均完成写成功,才返回
2、心跳机制:检测节点失效使用“心跳机制”。每个 Datanode 节点周期性地向 Namenode 发送心跳信号。 Namenode 通过心跳信号的缺失来检测这一情况,并将这些近期不再发送心跳信号 Datanode 标记为宕机,不会再将新的 IO 请求发给它们。
N: 3 (数据备份的数目)
W: 1 (数据写入几个节点返回成功),默认是1,
R: 1 (读取数据的时候需要读取的节点数)
W + R < N

收起
互联网服务 · 2018-12-28
浏览2894
我爱大锅饭我爱大锅饭系统运维工程师银行
个人觉得您提的问题不是很清楚,您是说底层数据各副本之间的数据一致性还是什么意思?显示全部

个人觉得您提的问题不是很清楚,您是说底层数据各副本之间的数据一致性还是什么意思?

收起
银行 · 2018-12-29
浏览2634
rein07rein07系统架构师某证券
Hadoop没有办法保证所有数据的强一致性,但是通过副本机制保证一定程度的一致性,如果某一个datanode宕机,将会在其他datanode上重建一个副本,从而达到副本一致性的目的,且在写入的时候可以采用一次写入多个副本的方式保证即使某个副本对应机器挂掉,也不影响整个数据。...显示全部

Hadoop没有办法保证所有数据的强一致性,但是通过副本机制保证一定程度的一致性,如果某一个datanode宕机,将会在其他datanode上重建一个副本,从而达到副本一致性的目的,且在写入的时候可以采用一次写入多个副本的方式保证即使某个副本对应机器挂掉,也不影响整个数据。

收起
证券 · 2018-12-28
浏览2799

问题来自

相关问题

相关资料

相关文章

问题状态

  • 发布时间:2018-12-28
  • 关注会员:4 人
  • 问题浏览:4442
  • 最近回答:2018-12-29
  • X社区推广