海量小文件的备份难题?

对于海量的小文件场景,如何提升备份效率?

参与11

4同行回答

热心冰块热心冰块项目经理浪潮INSPUR
1.调整文件生成策略,达限压缩,也可外挂程序处理压缩2.调整备份策略,先压缩后备份,这条在时间开销上应该效果不明显,多次读写会比较明显3.生成即备份,应用OS的卷Mirror,无法使用磁带备份,甚至都不需要备份软件,缺点是如果用低端存储,可能会形成短板影响整体的运行效率4.应用IBM V7K...显示全部

1.调整文件生成策略,达限压缩,也可外挂程序处理压缩
2.调整备份策略,先压缩后备份,这条在时间开销上应该效果不明显,多次读写会比较明显
3.生成即备份,应用OS的卷Mirror,无法使用磁带备份,甚至都不需要备份软件,缺点是如果用低端存储,可能会形成短板影响整体的运行效率
4.应用IBM V7K、INSPUR AS5600G2、IBM SVC等硬件实现Metro Mirror同步卷复制,缺点费钱

收起
系统集成 · 2021-12-27
浏览1027
verkeyverkey技术经理某厂商
海量小文件备份首先要排除文件系统层面的备份方式,光小文件IO操作都能让你崩溃。如果只考虑速度的话(不考虑服务器影响),目前最快的方式就是从磁盘块级别进行,比如服务器本身的磁盘,所在存储阵列的卷级别。...显示全部

海量小文件备份首先要排除文件系统层面的备份方式,光小文件IO操作都能让你崩溃。

如果只考虑速度的话(不考虑服务器影响),目前最快的方式就是从磁盘块级别进行,比如服务器本身的磁盘,所在存储阵列的卷级别。

收起
IT其它 · 2022-04-24
浏览678
wlfwlf联盟成员其它城商
卷复制效率、对服务器影响分析都需要考虑吧显示全部

卷复制效率、对服务器影响分析都需要考虑吧

收起
银行 · 2021-12-31
浏览921
haizdlhaizdl技术经理大连
海量小文件的备份之所以成为难题就是普通的复制方式的备份,在备份之前需要扫描所有的文件头信息,一旦这个量达到一定级别,这个扫描就花费了很多很多的开销,导致备份无法进行。通常解决方法:基于NDMP技术的备份工具。其原理就是靠着镜像、快照的方式在较短时间内备份大量文件。...显示全部

海量小文件的备份之所以成为难题就是普通的复制方式的备份,在备份之前需要扫描所有的文件头信息,一旦这个量达到一定级别,这个扫描就花费了很多很多的开销,导致备份无法进行。

通常解决方法:
基于NDMP技术的备份工具。
其原理就是靠着镜像、快照的方式在较短时间内备份大量文件。为目标文件系统创建一个固定的快照。在备份期间就直接备份这个快照。

当然我们还可以从业务层对这些海量的小文件的分类和归属进行良好的规划,比如按照日期、应用分类、地域属性等等,这样就把这些海量的小文件切分成若干部分,分而治之。

收起
银行 · 2021-12-31
浏览1043

提问者

lzg21st
lzg21st41437
存储工程师brcb
擅长领域: 存储灾备分布式架构

问题来自

相关问题

相关资料

相关文章

问题状态

  • 发布时间:2021-12-25
  • 关注会员:5 人
  • 问题浏览:1992
  • 最近回答:2022-04-24
  • X社区推广