netbackup怎么加速备份海量小文件?

参与18

3同行回答

tt_45tt_45技术经理eenese
NBU通过Accelerator技术对大量小文件的高效备份,提供备份加速技术,提高数据备份的效率。Accelerator技术使用了集中技术手段1.永久的增量,合成备份.2.记录哪些数据发生了变化,下次备份的时候不用全部数据扫描,只备份变化或增加的数据3.前端数据重删技术....显示全部

NBU通过Accelerator技术对大量小文件的高效备份,提供备份加速技术,提高数据备份的效率。
Accelerator技术使用了集中技术手段
1.永久的增量,合成备份.
2.记录哪些数据发生了变化,下次备份的时候不用全部数据扫描,只备份变化或增加的数据
3.前端数据重删技术.

收起
互联网服务 · 2018-06-29
浏览4178
wangqlwangql系统工程师NULL
海量小文件是个特别麻烦的事情,有几个通用的方法:从应用层调整,将应用生成文件的方式做优化,如生成的小文件自带合并成大文件,或者按时间段自动打包。这个是最彻底的方法,也是最不现实的方法。越大规模的应用分工越细,每个团队管一摊子自己的事,很难为了备份去推动应用的变更。这...显示全部

海量小文件是个特别麻烦的事情,有几个通用的方法:

  1. 从应用层调整,将应用生成文件的方式做优化,如生成的小文件自带合并成大文件,或者按时间段自动打包。这个是最彻底的方法,也是最不现实的方法。越大规模的应用分工越细,每个团队管一摊子自己的事,很难为了备份去推动应用的变更。这里只能说是愿景了。
  2. 备份管理员和应用方通过沟通,在不影响业务的情况下。通过脚本+调度的方式定期对小文件进行打包。备份打包的文件。这种方法也比较麻烦,脚本最好包含打包后的文件完整性验证,而且恢复的时候多了一步解压缩的东西,也比较不方便。
  3. image备份。备份的时候直接备份整个卷,不备份文件。好处是备份速度快。缺点是备份数据量加大,未使用的空间也会备份,恢复的时候也麻烦。 适合小文件海量到一定的程度,备份窗口不够用,恢复场景少的情况。
  4. 前3个方法是一些通用的方法,采用备份软件特有的加速技术,如nbu的accelerator,只备份上次备份以来变化的数据,并合成备份。配合nbu的源端去重技术效果会更好。这个是折腾最少的,如果当前的备份采用nbu,优先推荐。 这个受制于采用的备份软件,但是其他备份软件也有类似技术,比如tsm的永久增量备份+日志引擎,达成的效果和nbu的accelerator差不多。
收起
IT咨询服务 · 2018-06-29
浏览4410
sinsin网站架构师sin
小文件压缩后再备份显示全部

小文件压缩后再备份

收起
IT其它 · 2018-06-29
浏览4017

提问者

田大少
项目经理滴滴出行

问题来自

相关问题

相关资料

相关文章

问题状态

  • 发布时间:2018-06-29
  • 关注会员:7 人
  • 问题浏览:6326
  • 最近回答:2018-06-29
  • X社区推广