查看其它 2 个回答sxtycxx的回答

sxtycxxsxtycxx 解决方案经理人工智能(计算机视觉)

大数据底层的数据强一致性是通过HDFS的分布式架构中的冗余副本策略和心跳检测机制实现的,
1、冗余副本策略:HDFS处理节点失效的一个方法就是数据冗余,即对数据做多个备份,在HDFS中可以通过配置文件设置备份的数量,默认是3副本,只有数据在3个副本上均完成写成功,才返回
2、心跳机制:检测节点失效使用“心跳机制”。每个 Datanode 节点周期性地向 Namenode 发送心跳信号。 Namenode 通过心跳信号的缺失来检测这一情况,并将这些近期不再发送心跳信号 Datanode 标记为宕机,不会再将新的 IO 请求发给它们。
N: 3 (数据备份的数目)
W: 1 (数据写入几个节点返回成功),默认是1,
R: 1 (读取数据的时候需要读取的节点数)
W + R < N

互联网服务 · 2018-12-28
浏览2916

回答者

sxtycxx
解决方案经理人工智能(计算机视觉)
擅长领域: 存储灾备服务器

sxtycxx 最近回答过的问题

回答状态

  • 发布时间:2018-12-28
  • 关注会员:4 人
  • 回答浏览:2916
  • X社区推广