NAS存储为windows或linux提供NFS的文件系统访问空间,该文件系统用于存放大量小文件,有哪些高效的备份方式可以对这个NFS的文件系统做备份吗?传统的备份软件都是文件级备份,备份速度太慢,有更好的方式吗?
备份海量小文件,主要还是文件结构层面inode数量的处理太过庞大,没什么太好的解决办法,无非是整卷备或者小文件打包备;回归简单省事的办法吧,多打快照,可以定期clone然后split到NAS的其他位置;再就是改成对象存储来用,效率能提高,现在对象存储一般都支持NFS协议的访问。
收起NAS上NDMP协议其实效率并不是很高。海量小文件主要是其目录的深度以及广度的问题,导致备份效率低下。比较好的办法就是采用多线程(多线程扫描文件、多线程传输文件、扫描和传输同时进行)、合并小文件打包成大文件后再进行传输、再采用根据文件目录广度和深度针对性的扫描算法、数据达备份端后在进行结构化和合并的操作、配合后期快速的增量检测机制,最后还可以采用横向扩展节点来,不同的节点备份不同的目录更进一步加快文件的备份效率。
通过以上的方式,就算是从文件级备份海量小文件,效率也是非常高的。