TSM备份大量小文件怎么实施优化,加快备份速度?

现有一台AIX系统,运行业务SAP,需要经过TSM备份,发现备份耗时很长超过12小时,甚至备份进程卡死。

经检查发现,所备份的数据文件都是小文件,数量繁多,而且有多级路径文件,路径级别较深。
请问遇到这种情况TSM备份时怎么优化?
Total number of objects inspected: 442,051
Total number of objects backed up: 442,029
Total number of objects updated: 0
Total number of objects rebound: 0
Total number of objects deleted: 0
Total number of objects expired: 0
Total number of objects failed: 22
Total number of bytes inspected: 114.77 GB
Total number of bytes transferred: 114.77 GB
Data transfer time: 1,686.21 sec
Network data transfer rate: 71,376.01 KB/sec
Aggregate data transfer rate: 2,612.92 KB/sec
Objects compressed by: 0%
Total data reduction ratio: 0.00%
Elapsed processing time: 12:47:41

参与20

3同行回答

pysx0503pysx0503  系统工程师 , 第十区。散人
海量的小文件的备份一直都很慢。简单的说。你拿一个50斤的物体。一次性就搬过去了。。但是如果是50斤黄豆。你一次那一颗或者几颗。再快的速度也要很久。备份也是这个道理。现在的磁盘。网络速度都够用。但是对于琐碎的文件。这些速度无法发挥。只能逐个文件拷贝。造成速...显示全部

海量的小文件的备份一直都很慢。简单的说。你拿一个50斤的物体。一次性就搬过去了。。但是如果是50斤黄豆。你一次那一颗或者几颗。再快的速度也要很久。备份也是这个道理。现在的磁盘。网络速度都够用。但是对于琐碎的文件。这些速度无法发挥。只能逐个文件拷贝。造成速度的缓慢。一般来说是可以先吧文件打包。在备份。或者采用其他的方式做同步在另外的设备上。另外可以考虑专门的非结构化存储来解决这样访问缓慢的问题

收起
系统集成 · 2019-03-01
wgyinwgyin  系统工程师 , 睿至大数据
从上面的summary可以明显看出文件小、数据量大,网络速率71M,数据传输时间1686sec(28分钟)。其余时间用于文件的检查。针对这种情况简单方式优化客户机TXNBYTELIMIT选项,服务器TXNGROUPMAX 选项,就是提高事务的处理文件的上限。根本办法考虑实施TSM 基于日志的文件备份,去掉文...显示全部

从上面的summary可以明显看出文件小、数据量大,网络速率71M,数据传输时间1686sec(28分钟)。其余时间用于文件的检查。针对这种情况简单方式优化客户机TXNBYTELIMIT选项,服务器TXNGROUPMAX 选项,就是提高事务的处理文件的上限。根本办法考虑实施TSM 基于日志的文件备份,去掉文件检查时间。

收起
系统集成 · 2019-03-08
浏览2121
nkj827nkj827  项目经理 , 长春长信华天
小文件太多,什么备份方式都不是很管用,备份效率都会很差。是否应该从源头上优化起,为什么需要产生这么多的小文件。如果这些碎文件在磁盘阵列上,也可以采用ndmp的备份方式显示全部

小文件太多,什么备份方式都不是很管用,备份效率都会很差。
是否应该从源头上优化起,为什么需要产生这么多的小文件。
如果这些碎文件在磁盘阵列上,也可以采用ndmp的备份方式

收起
系统集成 · 2019-03-01
浏览2177

提问者

xufux
测试工程师中南海
擅长领域: 服务器数据库存储

相关问题

相关资料

相关文章

问题状态

  • 发布时间:2019-03-01
  • 关注会员:4 人
  • 问题浏览:3349
  • 最近回答:2019-03-08
  • X社区推广