面对数据量快速增长的场景,备份软件在架构方面有哪些优化手段,可以应对海量数据备份?

数据量越来越大,备份速度和存放空间都会越来越难以满足要求,如何去调整优化?

参与26

4同行回答

wangqlwangql系统工程师NULL
关于这个问题,我的看法是先按两种情况来分析:第一种情况是,现有的备份架构不变,在架构内进行分析。首先, 抛开数据量大小,我们先来梳理一下影响备份速度的几个因素A. 备份服务器的性能,也就是处理能力。备份服务器是整个备份环境的核心,备份数据的元数据索引、备份介质管理、客户...显示全部

关于这个问题,我的看法是先按两种情况来分析:

第一种情况是,现有的备份架构不变,在架构内进行分析。首先, 抛开数据量大小,我们先来梳理一下影响备份速度的几个因素

A. 备份服务器的性能,也就是处理能力。备份服务器是整个备份环境的核心,备份数据的元数据索引、备份介质管理、客户端调度管理都需要服务器处理能力来支持,如果再有数据重删,远端复制等附加功能,对服务器的性能要求会更高。

B.客户端的IO处理能力。网络传输类型(san or lan),网络传输速度(lan的十百千兆速率选择,光纤2/4/8/16GB速率选择等)、IO并发度(磁盘卷或磁带机数量)等等都会影响IO速度。

C.备份对象的数据类型,是海量小文件,还是常规文件。

D.备份介质的质量。比如同样是物理磁带备份,从早期的LTO3到最新的LTO8,速度和容量差别巨大,LTO8的传输速度打750MB/s,单盘压缩容量达30T

举个例子,1个2T的数据库,如果以LTO3的单驱动器按80M/s来算,需要7个小时左右,但是如果是LTO8单驱动器按750M/s来算,1个小时内就可完成。如果再以多个驱动器来做多通道的话,时间都可以更低。

现在大多数企业都开始使用虚拟带库,虚拟带库在速度、驱动器的并发性上更加灵活,并且在数据恢复上,有更大的性能优势。也可以结合物理带库来做d2d2t使用。
所以,优化的几个手段如下:

  1. 采用单独的备份网络,lan备份或lanfree备份时,备份网络和生产网络分开
  2. 备份主机的板卡采用独立的板卡,并且尽量做到多通道分散。
  3. 采用多通道备份,备份通道对应相应数量的磁带机
  4. 采用D2D2T等结构,优化备份速度。

第二种情况下,数据的增长达到了一个质的增长。通过调整备份环境的软件和参数已经无法满足备份窗口。一般可以考虑如下方案

A 配合现有存储的硬件特性来做,比如IBM的fcm就可以和大多数的主流存储配合,以存储硬件快照和tsm离线保存相结合的方式来提供备份解决方案。可以把备份窗口缩短到分钟级,并且通过tsm进行管理,还可以将备份的数据存放到磁带库中。其他备份厂商也有类似的解决方案。

B 采用新的备份架构,比如飞康的cdp、veeam的备份解决方案等,在某些细分领域都做的非常好。

收起
IT咨询服务 · 2018-03-02
浏览2045
murenxiangmurenxiang技术经理宏源证券
1、据了解,某网商已经用到10个驱以上的物理带库,1天内都不能完成出库2、根据监管要求,金融行业影像文件数量越来越多(文件数已经上亿),全备要2天以上从业务RPO/RTO,减轻运维压力,的确需要从应用架构、备份效率角度提高备份效率!!!...显示全部

1、据了解,某网商已经用到10个驱以上的物理带库,1天内都不能完成出库
2、根据监管要求,金融行业影像文件数量越来越多(文件数已经上亿),全备要2天以上

从业务RPO/RTO,减轻运维压力,的确需要从应用架构、备份效率角度提高备份效率!!!

收起
证券 · 2018-02-27
浏览2153
匿名用户匿名用户
可以考虑超融合的架构,计算和存储可根据需要横向扩展显示全部

可以考虑超融合的架构,计算和存储可根据需要横向扩展

收起
系统集成 · 2018-02-26
浏览2125
Jerry MikuJerry Miku其它The Global 500
简单粗暴的说,在备份环境上投入资金建设,备份网络独立出来,备份存储按数据保护等级规范使用……任何其他方式的改善措施,其成本与性价比都没有备份系统优异……显示全部

简单粗暴的说,在备份环境上投入资金建设,备份网络独立出来,备份存储按数据保护等级规范使用……

任何其他方式的改善措施,其成本与性价比都没有备份系统优异……

收起
IT其它 · 2018-03-02
浏览1888

提问者

li5227205
系统工程师新云东方
擅长领域: 存储灾备软件定义存储

问题来自

相关问题

相关资料

相关文章

问题状态

  • 发布时间:2018-02-26
  • 关注会员:5 人
  • 问题浏览:5714
  • 最近回答:2018-03-02
  • X社区推广