海量小文件备份首先要排除文件系统层面的备份方式,光小文件IO操作都能让你崩溃。
如果只考虑速度的话(不考虑服务器影响),目前最快的方式就是从磁盘块级别进行,比如服务器本身的磁盘,所在存储阵列的卷级别。
收起海量小文件的备份之所以成为难题就是普通的复制方式的备份,在备份之前需要扫描所有的文件头信息,一旦这个量达到一定级别,这个扫描就花费了很多很多的开销,导致备份无法进行。
通常解决方法:
基于NDMP技术的备份工具。
其原理就是靠着镜像、快照的方式在较短时间内备份大量文件。为目标文件系统创建一个固定的快照。在备份期间就直接备份这个快照。
当然我们还可以从业务层对这些海量的小文件的分类和归属进行良好的规划,比如按照日期、应用分类、地域属性等等,这样就把这些海量的小文件切分成若干部分,分而治之。
收起