文件的重删是基于一定算法实现,比如MD5算法、Sha算法、hash算法,进行文件哈希值计算,对重复的数据只记录一份,其他的重复数据保留一个地址引用。块存储重删一般采用定长重删或变长重删技术,定长重删就是把写入的数据按照固定长度进行切片,切片后进行hash计算,然后进行写入处理,非...
显示全部文件的重删是基于一定算法实现,比如MD5算法、Sha算法、hash算法,进行文件哈希值计算,对重复的数据只记录一份,其他的重复数据保留一个地址引用。块存储重删一般采用定长重删或变长重删技术,定长重删就是把写入的数据按照固定长度进行切片,切片后进行hash计算,然后进行写入处理,非重复数据就单独写入,重复数据就写入引用即可。反之变长也类似,但变长重删对性能和算法要求都比较高,对CPU内存消耗较大,影响了数据的实时处理效率。
收起