重删技术在块存储中如何实现?和文件的重删有什么区别?

参与9

1同行回答

chengzuqiaochengzuqiao  系统架构师 , 江西省农村信用社
文件的重删是基于一定算法实现,比如MD5算法、Sha算法、hash算法,进行文件哈希值计算,对重复的数据只记录一份,其他的重复数据保留一个地址引用。块存储重删一般采用定长重删或变长重删技术,定长重删就是把写入的数据按照固定长度进行切片,切片后进行hash计算,然后进行写入处理,非...显示全部

文件的重删是基于一定算法实现,比如MD5算法、Sha算法、hash算法,进行文件哈希值计算,对重复的数据只记录一份,其他的重复数据保留一个地址引用。块存储重删一般采用定长重删或变长重删技术,定长重删就是把写入的数据按照固定长度进行切片,切片后进行hash计算,然后进行写入处理,非重复数据就单独写入,重复数据就写入引用即可。反之变长也类似,但变长重删对性能和算法要求都比较高,对CPU内存消耗较大,影响了数据的实时处理效率。

收起
银行 · 2018-08-23
浏览2840

提问者

波波张
网络工程师上海华腾软件系统有限公司
擅长领域: 存储备份网络

问题来自

相关问题

相关资料

相关文章

问题状态

  • 发布时间:2018-08-23
  • 关注会员:2 人
  • 问题浏览:3557
  • 最近回答:2018-08-23
  • X社区推广