Hadoop集群数据异地灾备建设方案?

单位目前只有一套hadoop集群,当集群出现故障后,需要停止功能维护,会出现较长时间的 集群不可以用情况。为此需要建立跨城异地灾备集群。请问下有无成熟的方案。如何解决异地数据同步和 异地数据读取的问题。

参与8

1同行回答

匿名用户匿名用户
能考虑到Hadoop集群容量,说明是非常重要业务。异地备份方案有两种:1.采用专业的软件,建立一个比较好的频分多路网络,通过专业的软件做数据复制。譬如:veritas,具体可以询问相关软件厂商。2.采用异地间集群复制譬如: DistCp,本地集群HDFS设置为2份,异地集群HDFS设置为1份。硬件成本...显示全部

能考虑到Hadoop集群容量,说明是非常重要业务。

异地备份方案有两种:
1.采用专业的软件,建立一个比较好的频分多路网络,通过专业的软件做数据复制。譬如:veritas,具体可以询问相关软件厂商。
2.采用异地间集群复制譬如: DistCp,本地集群HDFS设置为2份,异地集群HDFS设置为1份。硬件成本也不会增加很多,能起到容灾的效果。

收起
互联网服务 · 2020-11-02
浏览2149
  • 如果数据量巨大的情况下 DistCp跨城市传输,会不会很慢,实际上实施我感觉网络会是巨大的瓶颈
    2020-11-02
  • 第一次使用,因数据量巨大,需要时间会比较长,之后建议就增量来同步,但对带宽确实有需求,需求多少依赖定期增量的数据量的大小。 目前通过频分多路技术,也容易做到两地之间20G或40G的带宽。
    2020-11-02
  • 杨博  杨博回复 jillme
    [此评论已删除]
    2020-11-02
  • 杨博  杨博回复 jillme
    更具体来说,DistCp的bandwidth参数来限流,通过Update+ Append + Diff三参数结合来做增量同步。
    2020-11-02

提问者

jillme
CIO某大型银行

相关问题

相关资料

相关文章

问题状态

  • 发布时间:2020-11-02
  • 关注会员:2 人
  • 问题浏览:2988
  • 最近回答:2020-11-02
  • X社区推广