针对海量的分布式架构中的数据如何备份?

目前越来越多的的行业开始建立自己的大数据。通过分布式的架构解决了对非结构化数据的管理问题。但是数据仓库中的数据量也越来越庞大。对于数据仓库的海量数据。应该采用怎样的备份产品才能既快速又有效呢。传统的磁带库虽然容量大。但是效率很低。采用磁盘存储的方式哟成本有过高。还有其他的解决方案吗

参与14

3同行回答

zhuqibszhuqibs  软件开发工程师 , Adidas
(1)所谓的分布式存储,在本地,是不需要备份的,因为分布式都有多个副本,本身就考虑了故障情况。(2)灾备还是需要的,但由于海量数据,异地的灾备基本变的不可能,所以,通常做法是将异地机房的节点通过网络变成本地集群的一个节点。然后将副本部署在上面,但这样同步会比较慢。但如果是mds节...显示全部

(1)所谓的分布式存储,在本地,是不需要备份的,因为分布式都有多个副本,本身就考虑了故障情况。
(2)灾备还是需要的,但由于海量数据,异地的灾备基本变的不可能,所以,通常做法是将异地机房的节点通过网络变成本地集群的一个节点。然后将副本部署在上面,但这样同步会比较慢。但如果是mds节点,异地灾备,还没有好的办法。

收起
互联网服务 · 2020-04-03
浏览1445
qian1110qian1110  , 华通信联
海量存储,建议还是采用存储底层的image 备份为好,系统文件系统层面去备份,效果反而一般显示全部

海量存储,建议还是采用存储底层的image 备份为好,系统文件系统层面去备份,效果反而一般

收起
IT分销/经销 · 2020-08-13
浏览1212
liujinlongliujinlong  项目经理 , china
1 在多机备份(repliaction)的场景下,数据节点之间复制数据,数据系统(数据库)能够在一定的条件下读取相同的数据。2 repliaction 的主要架构方式:主从结构:有一个单一节点作为1 写入请求发送给这个1,1 同步或异步地向其余节点发送更新消息,数据可以从各个节点读取这是对于数据方...显示全部

1 在多机备份(repliaction)的场景下,数据节点之间复制数据,数据系统(数据库)能够在一定的条件下读取相同的数据。

2 repliaction 的主要架构方式:主从结构:有一个单一节点作为1 写入请求发送给这个1,1 同步或异步地向其余节点发送更新消息,数据可以从各个节点读取
这是对于数据方面的见解,对于数据库后面的配置等可以实现 增量脚本及全量定期的方式实现

收起
IT其它 · 2020-04-03
浏览1398

提问者

pysx0503
pysx0503153369
系统工程师第十区。散人
擅长领域: 存储备份服务器

问题来自

相关问题

相关资料

相关文章

问题状态

  • 发布时间:2020-04-02
  • 关注会员:4 人
  • 问题浏览:2485
  • 最近回答:2020-08-13
  • X社区推广