实时数据压缩与重复数据删除并用
当存储的持续增长超过存储预算的时候，IT决策者们最关注的事情莫过于如何在节省投资的情况下部署更加优化的存储技术，来解决所遇到的存储容量问题。最近，有几项存储优化技术值得关注，即，针对高冗余备份数据所采用的主从存储数据的实时压缩技术和重复数据删除技术。虽然看起来这是两种相互排斥的技术，但实际又是相互补充的。本文将根据案例来讨论IBM实时压缩技术与EMC重复数据删除技术，在本案例中，目标是优化Oracle 数据库通过NFS的物理备份环境。
总之，综合地采用这两技术的表现结果是令人振奋的:
减少了72%的备份时间；
降低了74%的EMC Data Domain的CPU利用率；
减少了67%-77%的存储层的磁盘活动率和网络流量等。
实时数据压缩技术和重复数据删除技术带来了最大化的投资回复率（ROI），并且显著地提高了数据保护能力与数据存储容量。
数据优化概览
理解实时数据压缩技术和重复数据删除技术，首先最重要的是要理解这两种技术的不同，以及他们所适用的优化场景。下面是这项技术的概述。
实时数据压缩技术：这项技术设计出来是适用于处于前端透明的NAS，目的是减少数据库和文件的大小。备份、复制、克隆、归档以及其他的拷贝和文件交换能够最大限度地压缩，即能够让更少的数据写入磁盘和通过网络传输，同时还没有存储性能的降低，因而极大的提高了存储设备的利用率。
重复数据删除技术：这项技术是为减少冗余数据的物理存储需求而设计的。在重复数据删除过程中，重复数据被移走的同时被一个主拷贝的指针所替代，只有一份拷贝被存储下来。重复数据删除技术非常适合于典型的数据备份场合，例如，对于需要冗余而保持多份拷贝的每日备份与每周备份，对于这种场景重复数据删除技术会更加的有效。
图1 数据优化概览
如图1所示，在数据生命管理周期中，实时数据压缩技术与重复数据删除技术所处理的问题是不同的。但是更重要的是，这两种技术是相互补充的，部署IBM实时数据压缩技术能够显著地提高EMC重复数据删除技术的价值与能力。
数据优化技术在Oracle物理备份中的应用
数据库备份恢复的目的是保护数据不被丢失，以及在任何数据库丢失的情况下能够重新构建数据库。备份和恢复的可用性和性能对于数据库的有效的操作是十分重要的。
所谓备份就是对需要恢复数据库的文件基于时间点的拷贝，例如：数据文件、控制文件和归档文件，当数据库关闭后备份开始执行，称为冷备份；当数据库正在运行时进行备份，称为热备份；使用快照功能进行备份称之称复制。备份的好处是显而易见的，但是备份生成的大量数据必须被保存，并且在任何不确定的时间点上需要恢复时都能够可用。
优秀的技术是对减轻备份时的工作负载，是有利的，因为它能够降低用户备份时对系统带来的性能冲击。优秀的技术对于数据库的恢复有着特殊的意义和价值，因为它能够减少非计划性的宕机时间。
测试环境
IBM使用Quest公司的Benchmark工具，在NetApp的FAS6070 NAS设备上创建了一个基于NFS的Oracle数据库，其容量为37GB。共进行两轮测试，首先，对实时数据压缩和重复数据删除技术进行分别单独测试，然后再将两项技术进行相互补充测试。
测试模拟了一每天7%数据量的改变率，即在数据库达到7%的改变率之后，数据库会进行备份，然后重复执行7次，建立一周的数据库备份工作负载模型，共生成数据259GB。
测试结果：仅采用重复数据删除技术
测试设备是EMC DD690，将数据从FAS6070通过NDMP协议拷贝至DD690，通过采用重复数据删除技术，备份数据大小由259GB缩减为66GB。然后再通过EMC的Data Domain产品进行进一步压缩，将66GB压缩为24GB。重复数据删除技术执行过程中花费时间仅为6分15秒，却节省了235GB的空间，即节省了10倍的容量。但是在执行这个操作的过程中，DD690一直处于明显的压力下，CPU的利用率也处于比较高的水平。
图2备份文件大小与磁盘空间要求
测试结果：仅采用实时数据压缩技术
IBM实时数据压缩技术将数据库尺寸由37GB减小到7.2GB，应当注意的是采用实时数据压缩技术，当数据被写到存储设备中时，存储空间就已经被节省出来，但是并没有其他的后续处理或配置来实现存储层的空间节省。
图3
测试结果：实时压缩与重复数据删除相互补充
很明显，重复数据删除技术与实时数据压缩技术都能够在传统的没有优化的存储设备上显著地节省空间。然而，将这两项技术进行互相补充使用能够带来更大的意义。
图4
当重复数据删除方案用于实时数据压缩技术后，259GB的数据减少到18GB，节约了241GB的存储空间。而且，备份时间花费仅为1分45秒，比不采用IBM实时数据压缩技术节约了80%的时间。并且降低了DD690的CPU利用率和网络的使用率。这项测试表明，将实时数据压缩技术与重复数据删除技术相结合，在数据存储和数据保护的优化方面所带来的利益超过了其他的技术与方法。
总结
IBM实时数据压缩技术与EMC重复数据删除技术能够从整体上增强存储的效率，能够降低CPU、磁盘和网络带宽的利用率。在此案例中，针对Oracle备份，IBM实时数据压缩技术能够提供：
1、节省超过80%的初始写入存储空间；
2、通过与重复数据删除技术相结合应用，节省了超过93%的存储空间；
3、节省了72%的备份时间；
4、通过与重复数据删除技术相结合应用，节省了74%的CPU利用率；
5、通过与重复数据删除技术相结合应用，节省了67%的磁盘活跃度；
6、通过与重复数据删除技术相结合应用，节省了77%的网络流量。
关于IBM实时数据压缩技术
IBM实时数据压缩技术，在没有损失性能并带来成本节省的情况下，能够提供在线存储优化。在不改变存储、应用、网络和进程的情况下，IBM实时数据压缩技术透明地将NAS数据所占的空间减少了80%。IBM实时数据压缩技术能够提供一个实时的、随机的、确定的、无丢失的数据压缩机制，保证数据的可维护性、性能平稳性和数据的一致性。IBM实时数据压缩技术能够帮助企业减少存储设备的采购和存储相关的成本支出，包括减少存储设备的数量，节省电力及空调等。借助IBM实时数据压缩技术，你可以直接优化而不是妥协。
总之，综合地采用这两技术的表现结果是令人振奋的:
减少了72%的备份时间；
降低了74%的EMC Data Domain的CPU利用率；
减少了67%-77%的存储层的磁盘活动率和网络流量等。
实时数据压缩技术和重复数据删除技术带来了最大化的投资回复率（ROI），并且显著地提高了数据保护能力与数据存储容量。
数据优化概览
理解实时数据压缩技术和重复数据删除技术，首先最重要的是要理解这两种技术的不同，以及他们所适用的优化场景。下面是这项技术的概述。
实时数据压缩技术：这项技术设计出来是适用于处于前端透明的NAS，目的是减少数据库和文件的大小。备份、复制、克隆、归档以及其他的拷贝和文件交换能够最大限度地压缩，即能够让更少的数据写入磁盘和通过网络传输，同时还没有存储性能的降低，因而极大的提高了存储设备的利用率。
重复数据删除技术：这项技术是为减少冗余数据的物理存储需求而设计的。在重复数据删除过程中，重复数据被移走的同时被一个主拷贝的指针所替代，只有一份拷贝被存储下来。重复数据删除技术非常适合于典型的数据备份场合，例如，对于需要冗余而保持多份拷贝的每日备份与每周备份，对于这种场景重复数据删除技术会更加的有效。
图1 数据优化概览
如图1所示，在数据生命管理周期中，实时数据压缩技术与重复数据删除技术所处理的问题是不同的。但是更重要的是，这两种技术是相互补充的，部署IBM实时数据压缩技术能够显著地提高EMC重复数据删除技术的价值与能力。
数据优化技术在Oracle物理备份中的应用
数据库备份恢复的目的是保护数据不被丢失，以及在任何数据库丢失的情况下能够重新构建数据库。备份和恢复的可用性和性能对于数据库的有效的操作是十分重要的。
所谓备份就是对需要恢复数据库的文件基于时间点的拷贝，例如：数据文件、控制文件和归档文件，当数据库关闭后备份开始执行，称为冷备份；当数据库正在运行时进行备份，称为热备份；使用快照功能进行备份称之称复制。备份的好处是显而易见的，但是备份生成的大量数据必须被保存，并且在任何不确定的时间点上需要恢复时都能够可用。
优秀的技术是对减轻备份时的工作负载，是有利的，因为它能够降低用户备份时对系统带来的性能冲击。优秀的技术对于数据库的恢复有着特殊的意义和价值，因为它能够减少非计划性的宕机时间。
测试环境
IBM使用Quest公司的Benchmark工具，在NetApp的FAS6070 NAS设备上创建了一个基于NFS的Oracle数据库，其容量为37GB。共进行两轮测试，首先，对实时数据压缩和重复数据删除技术进行分别单独测试，然后再将两项技术进行相互补充测试。
测试模拟了一每天7%数据量的改变率，即在数据库达到7%的改变率之后，数据库会进行备份，然后重复执行7次，建立一周的数据库备份工作负载模型，共生成数据259GB。
测试结果：仅采用重复数据删除技术
测试设备是EMC DD690，将数据从FAS6070通过NDMP协议拷贝至DD690，通过采用重复数据删除技术，备份数据大小由259GB缩减为66GB。然后再通过EMC的Data Domain产品进行进一步压缩，将66GB压缩为24GB。重复数据删除技术执行过程中花费时间仅为6分15秒，却节省了235GB的空间，即节省了10倍的容量。但是在执行这个操作的过程中，DD690一直处于明显的压力下，CPU的利用率也处于比较高的水平。
图2备份文件大小与磁盘空间要求
测试结果：仅采用实时数据压缩技术
IBM实时数据压缩技术将数据库尺寸由37GB减小到7.2GB，应当注意的是采用实时数据压缩技术，当数据被写到存储设备中时，存储空间就已经被节省出来，但是并没有其他的后续处理或配置来实现存储层的空间节省。
图3
测试结果：实时压缩与重复数据删除相互补充
很明显，重复数据删除技术与实时数据压缩技术都能够在传统的没有优化的存储设备上显著地节省空间。然而，将这两项技术进行互相补充使用能够带来更大的意义。
图4
当重复数据删除方案用于实时数据压缩技术后，259GB的数据减少到18GB，节约了241GB的存储空间。而且，备份时间花费仅为1分45秒，比不采用IBM实时数据压缩技术节约了80%的时间。并且降低了DD690的CPU利用率和网络的使用率。这项测试表明，将实时数据压缩技术与重复数据删除技术相结合，在数据存储和数据保护的优化方面所带来的利益超过了其他的技术与方法。
总结
IBM实时数据压缩技术与EMC重复数据删除技术能够从整体上增强存储的效率，能够降低CPU、磁盘和网络带宽的利用率。在此案例中，针对Oracle备份，IBM实时数据压缩技术能够提供：
1、节省超过80%的初始写入存储空间；
2、通过与重复数据删除技术相结合应用，节省了超过93%的存储空间；
3、节省了72%的备份时间；
4、通过与重复数据删除技术相结合应用，节省了74%的CPU利用率；
5、通过与重复数据删除技术相结合应用，节省了67%的磁盘活跃度；
6、通过与重复数据删除技术相结合应用，节省了77%的网络流量。
关于IBM实时数据压缩技术
IBM实时数据压缩技术，在没有损失性能并带来成本节省的情况下，能够提供在线存储优化。在不改变存储、应用、网络和进程的情况下，IBM实时数据压缩技术透明地将NAS数据所占的空间减少了80%。IBM实时数据压缩技术能够提供一个实时的、随机的、确定的、无丢失的数据压缩机制，保证数据的可维护性、性能平稳性和数据的一致性。IBM实时数据压缩技术能够帮助企业减少存储设备的采购和存储相关的成本支出，包括减少存储设备的数量，节省电力及空调等。借助IBM实时数据压缩技术，你可以直接优化而不是妥协。