证券云计算

目前在生产环境中重删存储池的平均重删比是多少?

请问目前在生产环境中重删存储池的平均重删比是多少?

参与3

1同行回答

GaryyGaryy  系统工程师 , 某保险
重复数据删除的定义重复数据删除(简称重删)是一种节约数据存储空间的技术。在计算机中存储了很多重复数据,这些数据占用了大量硬盘空间,利用重复数据删除技术,可以只存储一份数据。另外一项节约存储空间的技术是数据压缩,数据压缩技术在比较小的范围内以比较小的粒度查找重复数...显示全部
  1. 重复数据删除的定义
    重复数据删除(简称重删)是一种节约数据存储空间的技术。在计算机中存储了很多重复数据,这些数据占用了大量硬盘空间,利用重复数据删除技术,可以只存储一份数据。另外一项节约存储空间的技术是数据压缩,数据压缩技术在比较小的范围内以比较小的粒度查找重复数据,粒度一般为几个比特到几个字节。而重复数据删除是在比较大的范围内查找大块的重复数据,一般重复数据块尺寸在1KB以上。
  2. 重复数据删除的分类
    按照重删执行的时间,重删可以分为在线重删和后处理重删:
    在线重删:指数据在写入磁盘之前进行重删。
    后处理重删:数据先写入磁盘,然后再读出来进行重删,重删之后的数据再写入磁盘中。通常在实际操作时,用户会根据所承载业务的负载,指定系统相对空闲的时间让重删包括压缩功能运行起来。
    对于在线重删和后处理重删的定义,业界也存在不同的理解。如先将数据写入缓存,然后从缓存刷到磁盘上,数据在刷盘过程中被重删。对于这种实现方式,有厂商认为也是一种后处理重删。
    按照数据分块的方式,重删可以分为定长重删和变长重删:
    定长重删:数据按照固定长度进行分块,之后进行重删;
    变长重删:数据被划分成不同大小的块进行重删。变长重删一般使用在备份场景中,这种分块重删方式一般可以获得比较好的重删效果。
    按照重删的粒度,也可以分为块级重删和文件级重删:
    块级重删:以数据块为粒度进行指纹计算,之后重删。
    文件级重删:以整个文件为粒度计算指纹,然后重删。文件级重删又称为单一实例库重删。
    关于数据块级重删和文件级重删,普遍存在一些误区,以为在文件系统中的重删就是文件级重删。其实在文件系统中,也可以将文件按照粒度分割成单个的数据块,实现数据块级的重删,这种方法也是统一存储中,友商实现重删功能的普遍做法。
    按照重删发生的地方,重删可以分为源端重删和目标端重删:
    源端重删:数据在源端经过分块并计算指纹,之后发送到目标端进行查重,如果是新的数据块,则通知源端将该数据块发送到目标端进行保存;如果是重复块,则不发送。源端重删的目主要是为了节省两端之间的传输带宽。
    目标端重删:直接将数据传输到目标端,在目标端进行分块、计算指纹并查重下盘。
    需要说明的是,在一套存储设备中,上述重删方式不是孤立的存在,通常都是几种方式的组合。如在备份场景中,一般都采用在线、变长、块级、目标端(或者源端)重删的方法。
  3. 重复数据删除与数据压缩的区别与联系
    数据压缩是一种字节级的数据缩减技术,其思想是采用编码技术,常用的如Huffman编码,将较长的数据用较短的、经过编码的格式来表示,以此达到减少数据大小的目的。
    从效果上来看,可以认为重复数据删除是一种基于“数据块”的压缩,而数据压缩是一种基于“字节”的重复数据删除。
    从应用上来看,重删和压缩通常会配合起来一起使用。如在备份场景中,为了提高数据的缩减效率,在数据经过重删之后会对唯一数据块再执行一次压缩。这样,数据的缩减效果就是重删和压缩效果的叠加。

目前生产环境中的重删比取决于采用的设备,具体的要case by case的看

收起
保险 · 2018-08-03
浏览3401

提问者

shenzx
系统工程师ebscn
擅长领域: 云计算存储服务器

问题来自

相关问题

相关资料

相关文章

问题状态

  • 发布时间:2018-07-31
  • 关注会员:2 人
  • 问题浏览:4146
  • 最近回答:2018-08-03
  • X社区推广