参与85

查看其它 10 个回答baizhaoxian的回答

baizhaoxianbaizhaoxian联盟成员容灾备份管理工程师

1.变长块分割技术与数据精准去重
对非结构化数据,特别是海量小文件的备份,采用了变长块分割的重删技术。因为海量小文件的数据变化情况复杂,采用固定块分割,常导致整个备份数据需要重新进行分块,而变长块分割只针对变化的数据做分割处理,解决了固定块分割中把没任何变化的数据重新分块而导致去重率低的问题,不仅大大降低了数据分割处理上对客户端计算资源的占用,并且保障了海量小文件的最佳数据重删效果。
2.多通道并行备份与倍数提升效率
文件备份通道建设上采用了文件索引与数据备份并行处理、多通道并行备份数据采集等技术手段,使备份效率呈倍数提高。就像水库排水时,建设多条水管并行抽水,能够有效提升排水效率一样。
3.文件索引与数据备份并行处理
对于GB数据量级别的文件备份处理,常规做法是在一个进程中进行串行处理:先遍历需要备份的文件,建立文件索引,再进行文件数据备份。但在海量文件数据中,往往存在小文件较多、文件目录层次深等情况,文件遍历并建立索引需要耗费很长时间,以串行方式处理,备份效率低。
对于文件备份的处理,则是把文件索引和数据备份分离到两个不同的进程中并发处理,即系统在遍历文件目录时,一边为文件建立索引,一边对文件进行备份,这样就可以大大缩短文件数据的备份时间和效率。
4.多通道并行数据备份
在对文件进行备份数据采集处理中,采用多通道并行技术,即系统基于流水线方式,在遍历出需要备份的文件,建立文件索引,然后把需要备份的文件信息分片,配送到各个数据备份通道中,备份数据通过多个通道并行传输到存储服务器存储。
多通道并行的处理方式难点在于文件信息分片后通道配送的策略,以及多通道备份后的备份集在恢复时的数据整合处理。利用自研制算法,自动监测通道占用情况,把备份数据均衡分配到各个空闲通道。在数据恢复时,又将根据备份时分片信息把数据恢复到原文件目录中,高效安全。
5.服务端自动合成与少占客户端资源
针对海量文件的备份,尤其是海量小文件的备份,合成备份是最佳的备份策略。解决了传统周期性“完全备份+增量备份”策略存在备份时间长、大量占用了客户端主机计算资源、I/O资源和网络资源、影响核心业务的正常运行等系列问题。
对文件进行合成备份,即执行一次完全备份,后续每次进行增量备份。简单来就,就是将会基于第一份全量备份数据和随后的增量备份集进行合并,生成新的全量备份数据,然后,再定时把新生成的全量备份集和增量数据集进行合并,再生成新的全量备份数据,以此循环处理。

互联网服务 · 2017-10-26
浏览4893
王希瑞 邀答
  • 3中如何解决备份中文件内容发生变化的场景
    2019-01-08

回答者

baizhaoxian
容灾备份管理工程师
擅长领域: 存储备份软件定义存储

baizhaoxian 最近回答过的问题

回答状态

  • 发布时间:2017-10-26
  • 关注会员:14 人
  • 回答浏览:4893
  • X社区推广