面对数据量快速增长的场景,备份软件在架构方面有哪些优化手段,可以应对海量数据备份?

数据量越来越大,备份速度和存放空间都会越来越难以满足要求,如何去调整优化?显示全部

数据量越来越大,备份速度和存放空间都会越来越难以满足要求,如何去调整优化?

收起
参与26

查看其它 3 个回答wangql的回答

wangqlwangql系统工程师NULL

关于这个问题,我的看法是先按两种情况来分析:

第一种情况是,现有的备份架构不变,在架构内进行分析。首先, 抛开数据量大小,我们先来梳理一下影响备份速度的几个因素

A. 备份服务器的性能,也就是处理能力。备份服务器是整个备份环境的核心,备份数据的元数据索引、备份介质管理、客户端调度管理都需要服务器处理能力来支持,如果再有数据重删,远端复制等附加功能,对服务器的性能要求会更高。

B.客户端的IO处理能力。网络传输类型(san or lan),网络传输速度(lan的十百千兆速率选择,光纤2/4/8/16GB速率选择等)、IO并发度(磁盘卷或磁带机数量)等等都会影响IO速度。

C.备份对象的数据类型,是海量小文件,还是常规文件。

D.备份介质的质量。比如同样是物理磁带备份,从早期的LTO3到最新的LTO8,速度和容量差别巨大,LTO8的传输速度打750MB/s,单盘压缩容量达30T

举个例子,1个2T的数据库,如果以LTO3的单驱动器按80M/s来算,需要7个小时左右,但是如果是LTO8单驱动器按750M/s来算,1个小时内就可完成。如果再以多个驱动器来做多通道的话,时间都可以更低。

现在大多数企业都开始使用虚拟带库,虚拟带库在速度、驱动器的并发性上更加灵活,并且在数据恢复上,有更大的性能优势。也可以结合物理带库来做d2d2t使用。
所以,优化的几个手段如下:

  1. 采用单独的备份网络,lan备份或lanfree备份时,备份网络和生产网络分开
  2. 备份主机的板卡采用独立的板卡,并且尽量做到多通道分散。
  3. 采用多通道备份,备份通道对应相应数量的磁带机
  4. 采用D2D2T等结构,优化备份速度。

第二种情况下,数据的增长达到了一个质的增长。通过调整备份环境的软件和参数已经无法满足备份窗口。一般可以考虑如下方案

A 配合现有存储的硬件特性来做,比如IBM的fcm就可以和大多数的主流存储配合,以存储硬件快照和tsm离线保存相结合的方式来提供备份解决方案。可以把备份窗口缩短到分钟级,并且通过tsm进行管理,还可以将备份的数据存放到磁带库中。其他备份厂商也有类似的解决方案。

B 采用新的备份架构,比如飞康的cdp、veeam的备份解决方案等,在某些细分领域都做的非常好。

IT咨询服务 · 2018-03-02
浏览2047

回答者

wangql
wangql41446
系统工程师NULL
擅长领域: 存储备份软件定义存储

wangql 最近回答过的问题

回答状态

  • 发布时间:2018-03-02
  • 关注会员:5 人
  • 回答浏览:2047
  • X社区推广