文件的重删是基于一定算法实现,比如MD5算法、Sha算法、hash算法,进行文件哈希值计算,对重复的数据只记录一份,其他的重复数据保留一个地址引用。块存储重删一般采用定长重删或变长重删技术,定长重删就是把写入的数据按照固定长度进行切片,切片后进行hash计算,然后进行写入处理,非重复数据就单独写入,重复数据就写入引用即可。反之变长也类似,但变长重删对性能和算法要求都比较高,对CPU内存消耗较大,影响了数据的实时处理效率。
关于TWT使用指南社区专家合作厂商入驻社区企业招聘投诉建议版权与免责声明联系我们 © 2024talkwithtrend — talk with trend,talk with technologist京ICP备09031017号-30