如何增加海量小文件的非结构化数据备份的速度?

海量小文件的非结构化数据如何备份?备份起来非常慢,几M的速度,有什么好的解决方案可以解决非结构化数据备份吗?

3回答

Li FeiLi Fei  系统架构师 , 某保险公司
michael1983yinxin老赵赞同了此回答
海量小文件的问题,现在一直没有根本性解决,能够完美解决海量文件备份效率的方案,成本都不低,入不敷出……海量小文件的问题,可以从两个方面入手,第一个是优化海量小文件的文件结构,想办法把小文件聚合成大文件,提高备份恢复效率,减少文件扫描的时间成本,常见的做法就是进行打包压缩...显示全部

海量小文件的问题,现在一直没有根本性解决,能够完美解决海量文件备份效率的方案,成本都不低,入不敷出……
海量小文件的问题,可以从两个方面入手,第一个是优化海量小文件的文件结构,想办法把小文件聚合成大文件,提高备份恢复效率,减少文件扫描的时间成本,常见的做法就是进行打包压缩。第二个就是改变海量小文件的存储方式,海量小文件备份恢复慢,绝大部分是对文件的扫描、备份时因为数量庞大导致open files、close files的次数特别多,如果不是以小文件方式直接备份恢复文件、直接从系统底层直接抽取数据进行备份恢复……在这点上不少企业使用了对象存储,需要注意的是对象存储的备份接口引擎,可能需要定制化。

收起
 2019-07-17
浏览319
Amol1984Amol1984  系统工程师 , YuSYS
yujin2010good挚爱咖啡赞同了此回答
人为按照时间维度文件夹区分,分时合并计算化零为整,及时备份清理。显示全部

人为按照时间维度文件夹区分,分时合并计算化零为整,及时备份清理。

收起
 2019-07-17
浏览299
qsg0720qsg0720  CTO , 深圳市杉岩数据技术有限公司
靠外置备份软件,很难解决海量小文件备份问题。 我建议可以考虑采用对象存储替换文件存储。对象存储本身有一些备份的内置方案,无需外置备份。显示全部

靠外置备份软件,很难解决海量小文件备份问题。 
我建议可以考虑采用对象存储替换文件存储。对象存储本身有一些备份的内置方案,无需外置备份。

收起
 2019-08-25
浏览151

提问者

phoenixlzy系统架构师, nci

问题状态

  • 发布时间:2019-07-17
  • 关注会员:4 人
  • 问题浏览:1129
  • 最近回答:2019-08-25
  • 关于TWT  使用指南  社区专家合作  厂商入驻社区  企业招聘  投诉建议  版权与免责声明  联系我们
    © 2019  talkwithtrend — talk with trend,talk with technologist 京ICP备09031017号-30