一个目录下面数百万海量小文件如何快速备份和恢复?

一个目录下面数百万海量小文件如何快速备份和恢复?当一个目录下有数百万小文件做备份时,备份之前备份软件的扫描和技术就要花去大量时间,恢复的时间也要花费比普通备份多的多的时间。我知道的一种解决方案是采用image全盘备份和恢复方式可以大大加快备份和恢复过程.是否还有...显示全部

一个目录下面数百万海量小文件如何快速备份和恢复?
当一个目录下有数百万小文件做备份时,备份之前备份软件的扫描和技术就要花去大量时间,恢复的时间也要花费比普通备份多的多的时间。我知道的一种解决方案是采用image全盘备份和恢复方式可以大大加快备份和恢复过程.是否还有别的更好的方法进行效率备份和恢复呢?

收起
参与57

查看其它 11 个回答醉卧亭湖的回答

醉卧亭湖醉卧亭湖技术经理上海爱数软件信息技术股份有限公司

数百万的海量小文件备份,从文件系统层面解决是一个死胡同。
因为文件系统的遍历是基于二叉树遍历,以字母和数字进行排序。如果全部是几K的文件,磁盘的遍历时间远远大于实际的数据读取时间。所以备份的瓶颈并不在传输带宽,而是磁盘文件的遍历效率。
目前方案和产品的处理层面有几种方法:
1、存储快照。就如楼上@samsondows 的说法,将快照文件单独mount出来。在这个点上,问题是市场主流快照均采用COW技术,源文件损坏,会引起源文件+增量块的方案不可行。所以需要结合镜像技术去配合。市面备份软件也有支持对存储快照的备份保护,由于各个厂家存储快照开放程度不同,导致各个版本型号的存储快照开发量很大,支持程度更无话八门。Openstack大火以后,各家存储厂商宣布支持Cinder管理存储,理论上备份软件可以通过此一统江湖。但……
2、诸如@updater_aix ,迁移到容易备份的环境。有些工程师将海量小文件全部迁移到虚拟化上……。通过VADP来加速保护,或者调用VADP的软件,还能走SAN,重删,各种技术优化。
3、卷级备份,或者叫存储块级备份。多以分区为单位,扫描数据块进行整盘数据的检测,而不是二叉树遍历文件。磁盘能够一往无前的扫描数据进行备份保护,而不是磁头不断的寻址查找数据的存储位置。备份速率几十倍的提示。但是也带来问题,假如磁盘中存在大量已经删除未真正完全删除的数据,卷级备份会将这些数据也备份下来。假若此类数据占到分区的50%,相比几十倍。
1503645355464.jpg

1503645355464.jpg

后排安利自家产品

软件开发 · 2017-08-25
浏览12599

回答者

醉卧亭湖
技术经理上海爱数软件信息技术股份有限公司
擅长领域: 存储备份虚拟带库

醉卧亭湖 最近回答过的问题

回答状态

  • 发布时间:2017-08-25
  • 关注会员:15 人
  • 回答浏览:12599
  • X社区推广