单位目前只有一套hadoop集群,当集群出现故障后,需要停止功能维护,会出现较长时间的 集群不可以用情况。为此需要建立跨城异地灾备集群。请问下有无成熟的方案。如何解决异地数据同步和 异地数据读取的问题。
能考虑到Hadoop集群容量,说明是非常重要业务。
异地备份方案有两种:
1.采用专业的软件,建立一个比较好的频分多路网络,通过专业的软件做数据复制。譬如:veritas,具体可以询问相关软件厂商。
2.采用异地间集群复制譬如: DistCp,本地集群HDFS设置为2份,异地集群HDFS设置为1份。硬件成本也不会增加很多,能起到容灾的效果。