如何充分利用有限的异地带宽,解决好异地数据的传输和同步?

如何充分利用有限的异地带宽,解决好异地数据的传输和同步?这个大家是否有很好的方案,如何做的?

参与7

2同行回答

去世的闲人去世的闲人售前技术支持星辰天合(北京)数据科技有限公司
如果是从存储端讲的话,异步复制带宽确实会成为瓶颈。因为存储一般采用快照的形式来做异步复制,复制的数据都是全量数据,带宽无法节约。一些高端存储有重删技术,也只能是把数据复制到异地之后再进行重删,所以带宽确实会成为瓶颈。 **若带宽确实有限,只能是最大限度的降低需要传...显示全部
如果是从存储端讲的话,异步复制带宽确实会成为瓶颈。因为存储一般采用快照的形式来做异步复制,复制的数据都是全量数据,带宽无法节约。一些高端存储有重删技术,也只能是把数据复制到异地之后再进行重删,所以带宽确实会成为瓶颈。
**若带宽确实有限,只能是最大限度的降低需要传输的数据量**。
备份设备就比较好解决这个问题。备份重删技术分为源端重删和目的端重删:
源端重删:在数据备份到备份设备前就在主机端进行重删,利用生产主机的CPU+内存把需要备份的数据进行重删,重删后的数据在传输到本地的备份一体机中。原理也较为简单,就是把数据库进行切片,重复的就进行备份了,只索引指针信息。这么一来备份设备中需要备份的数据量就比较少。需要购买的设备就是异地机房中加一套备份设备就可以。
目的端重删:生产数据把数据全部备份到同机房的备份设备上,备份设备进行重删。然后把重删的数据利用较低的带宽,远程复制到异地。需要采购的设备是,本地数据中心的备份设备+异地数据中心接受的备份设备,两套备份设备
优缺点说明:源端重删,需要采购的备份空间较少(省钱),在备份之前就能重删,需要占用生产服务器一些资源(一般占用1.3G左右的内存,影响不大)。目的端重删:不占用主机资源,但是需要购买较多的备份空间(浪费钱)。
宗旨:想要利用有限带宽进行数据传输和同步,**只能在传输的数据量上下功夫**,既然存储无法解决,就只能依靠备份了。
收起
软件开发 · 2017-05-05
浏览3478
qq373793057qq373793057课题专家组系统工程师某银行
如果异地容灾带宽有限,那么对于应用层的同步模式要尽量选择异步方式,以免对生产主中心造成影响。而对于带宽的优化,可以通过IP流量管理或者Qos控制等方法降低网络延迟,但这些优化方式也只能在一定程度上缓解网络带宽的瓶颈,而容灾链路是要根据容灾架构来设计和选型,两种比较主...显示全部

如果异地容灾带宽有限,那么对于应用层的同步模式要尽量选择异步方式,以免对生产主中心造成影响。而对于带宽的优化,可以通过IP流量管理或者Qos控制等方法降低网络延迟,但这些优化方式也只能在一定程度上缓解网络带宽的瓶颈,而容灾链路是要根据容灾架构来设计和选型,两种比较主流的方式是裸光纤和数字专线。
采用了裸光纤的话,可使用DWDM设备进行波分复用,提高线路利用率。
采用数字专线方式,可以考虑使用如rsync等同步工具,针对应用程序的日志,实现差异化数据的增量传输。

收起
银行 · 2017-05-05
浏览3364

提问者

m_lei
系统工程师银行

问题来自

相关问题

问题状态

  • 发布时间:2017-05-03
  • 关注会员:3 人
  • 问题浏览:6589
  • 最近回答:2017-05-05
  • X社区推广