城商行/省农信生产数据备份升级扩容项目数据备份产品初选选型投票：重复数据删除维度（18-15）

投票说明：

本次选型投票主要针对数据备份产品“重复数据删除”这个维度上进行，对以下产品中符合城商行/省农信行业生产数据备份升级扩容项目需求的产品进行大众评选。备份恢复系统需要存储海量的业务数据历史版本，尤其是对数据长期保留严苛的行业，备份恢复产品所纳管的数据量已接近数十PB。面对海量数据，重复数据删除技术就显得非常重要，高效的重删技术能够大幅节约重复数据的存储成本，更能缓解在有限的备份恢复时间窗口内加速完成任务而形成的对网络负载的冲击压力。

可变长的重删技术更加灵活，能够识别数据的类型根据最佳实践匹配最合适的区块大小进行重删，效率更高。源端重删在客户端处进行，整个备份过程中仅传输唯一的数据片段，显著提升网络的传输效率、节省数据存储成本。

参考指标：

1、重复数据删除基础，基础什么技术的重删？
2、重复数据删除技术，变长？可变长？源端重删？目标端重删？
3、重复数据删除维护，后端存储保护及元数据保护如何？

指标释义：

重复数据删除（简称“重删”）是备份恢复产品最具价值的核心技术之一。在重删技术的加持下，同等容量的备份存储将能容纳更多的备份数据，源端重删更能极大减少备份恢复网络的数据传输压力，加速任务效率。

重删机制细分为很多种类，按照重删引擎的工作机制，分为两类--基于CPU/内存计算资源的重删与基于磁盘设备的重删；按照重删的动态数据块大小，分为两类--可变长重删（可感知数据类型自动切分非固定大小的数据块进行重删）与定长重删（只能按照特定数据块大小切分数据片）；按照重删实际发生的位置，可分为源端重删（在备份恢复客户端处重删）和目标端重删（在备份存储设备处重删）。

目前主流重删产品都是基于磁盘设备的重删，如某些虚拟/物理磁带库，基于CPU/内存计算资源的重删技术代表产品很少，常见如DELLEMC Datadomain系列。在一般条件下，CPU/内存的运行速率非常之高，因而基于CPU/内存计算资源的重删效率要远高于基于磁盘设备的重删，也是因为这点源端重删的应用几乎只有基于CPU/内存计算资源来实现，虽然依靠今年SSD技术的发展，基于磁盘设备的重删效率也水涨船高，但其重删效率仍和基于CPU/内存计算资源的重删存在多个数量级的差距，仅能作为目标端重删优化手段使用。

重删在实际场景中的表现，极大程度依赖管理员及厂家对重删配置的优化，在生产实践中需要保护的业务数据类型及大小、存储设备的类别及位置、存储的方式及形式都不一样，想得到较高的重删比几乎全靠管理者的调教，虽然部分重删产品自带数据感知功能，但其实际表现无法完美应对生产实践中的混合型业务数据IO。首先管理者需要识别重删效率差的典型场景，如非结构化数据场景。其次针对不同数据类型及大小要调试不同的数据块大小切分，提高基准数据块重删时的碰撞效率。最后重删在备份恢复产品上联动的参数及配置优化。

对于如上“重复数据删除”需求，目前市面上哪些数据备份产品可以较好的满足如上要求？欢迎各位企业同行进行推荐评选，以及进行评论说明。

项目说明：

本次投票完整总共有18个维度，最终希望能够根据大家的意见呈现出在城商行/省农信生产数据备份升级扩容项目数据备份产品选型上的Customer Choices。本次投票由企业IT应用趋势项目创新联盟数据备份项目课题组委会主导、多名行业专家协助组织。