云环境下的备份规划有哪些新思路和新解决方案?

现有备份系统采用备份软件+虚拟带库+物理带库的模式,随着数据量增长越来越快,备份窗口、带库成本越来越大。
随着新一代数据中心的建设,备份的规划有什么新的思路和解决方案吗?

参与21

2同行回答

nkj827nkj827  项目经理 , 长春长信华天
在云计算环境中,传统的备份技术遇到了需要安装备份代理、空白数据占用空间、数据冗余度高和备份颗粒度大等问题。基于此,研究了通过VADP接口,实现无代理备份、数据块修改跟踪、文件级备份恢复、重复数据删除、vCenter集成及应用感知等的云计算环境的备份软件技术,并验证了重...显示全部

在云计算环境中,传统的备份技术遇到了需要安装备份代理、空白数据占用空间、数据冗余度高和备份颗粒度大等问题。基于此,研究了通过VADP接口,实现无代理备份、数据块修改跟踪、文件级备份恢复、重复数据删除、vCenter集成及应用感知等的云计算环境的备份软件技术,并验证了重复数据删除对数据块修改跟踪技术的有效性,为云计算环境的数据备份提供了有益的参考。
  1
  随着信息化的发展,各种业务系统已经成为大型企业日常生产不可或缺的一部分,这些系统所产生的数据也成为运营商的核心资产。在软硬件处理能力越来越强的现在,电信运营商的IT系统呈现出集约化、云计算化的趋势。
  对于电信运营商,大部分业务系统是由各省级单位独立建设,互不兼容。在市场竞争激烈、成本要求苛刻、精细化管理成为企业必需的情况下,三大运营商不约而同地选择了集约化发展的道路。业务的变化推动IT系统的集约化,运营商纷纷尝试将分省建设、管理的系统集中到全国几个大型中心。集约化后的IT中心带来了数据的高度集中,对系统备份和恢复的速度要求更加苛刻。
  与集约化同时进行的是IT系统“去IOE”的进程。去IOE即在服务器设备上,使用标准化程度高的X86服务器逐渐取代高可靠性、生态系统相对IBM Power小型机乃至所有的小型机在核心系统的使用。去O即从小型业务系统开始,使用Scale out架构的开源数据库逐步消除Oracle数据库在运营商的垄断地位;去E即在数据存储领域使用更为廉价的存储方式代替昂贵的高端EMC存储。去IOE在节省成本、降低对原厂依赖的同时,也带来了对业务系统、数据库及业务数据可靠性的忧虑。
  云计算化是使用虚拟化基础架构代替过去孤立的、烟囱式发展的传统IT架构。云计算是在由服务器、存储、网络交换机等硬件的基础上增加了虚拟化层和云层。其中,虚拟化层屏蔽了硬件的差异性和复杂度,为云层提供标准化、可灵活扩展和收缩、弹性的虚拟资源池;云层可以调配硬件资源池,为应用系统提供虚拟硬件。云计算化在增加灵活性的同时,也更来了更多的可能的故障点。
  集约化、去IOE化、云计算化的IT系统带来成本节约、灵活度更高的同时,也为应用系统和数据的可靠性带来了更大的挑战。为了保障IT系统安全,需要建立稳定、高效的备份系统,将应用系统和数据备份多份后,在异机甚至异地存储。备份系统可以保证在应用系统出现问题的情况下能够回退到正常状态,是企业IT安全的最后一道防线,需要引起高度重视。
  2 传统IT基础下的备份技术
  2.1 传统备份对象
  在传统IT基础架构下,备份的对象主要针对操作系统、数据库和文件系统。
  操作系统是应用系统的基础,其备份技术也是备份的难点。操作系统备份包括系统备份和系统恢复。系统备份由文件备份、系统数据一致性及系统环境等技术组成。操作系统备份时,系统文件、环境变量等参数会不断发生变化,有可能发生相关文件备份时间不同而导致系统故障的问题。为了保证一致性,需要对备份过程中的I/O(Input/Output,输入/输出)进行备份,在系统恢复时将备份过程的I/O操作重新写入操作系统,从而使系统状态与备份结束时间点的状态一致,降低了系统崩溃的风险。系统恢复在异机恢复方面有可能面临着设备驱动不一致,从而导致恢复后的系统无法正常使用的问题。
  数据库备份不仅需要备份数据库中的用户数据,还需要对重要的数据库组件如数据文件和控制文件进行备份。数据库的备份可以分为静态备份和动态备份。静态备份是在系统没有事务需要处理时进行的备份作业,在备份期间不允许对数据库进行查询、插入等活动。静态备份可以很好地保持数据的一致性,但同时降低了数据库的可用性。动态备份可以在用户事务发生的同时进行,允许在备份期间对数据库进行存取、修改等操作,但这种方式无法保证副本数据的有效性,需要记录下备份期间对数据库的存取等活动日志。数据库恢复时,需要恢复副本和备份期间的日志才能恢复到正确的状态。
  文件系统备份可以通过文件系统定位文件所在的页,然后备份所找到的文件。由于存储在磁盘中的文件的页并不一定是连续的,因此在恢复的过程中磁盘需要不断定位,从而导致磁盘负担较大。在文件系统备份中,运营商的话单文件体积小但数量非常多,其备份是一大技术难题。
  2.2 常见备份方式
  在实现生产中,通常采用以下方式进行备份:
  (1)使用数据库自带备份工具备份。对于Linux下的Oracle数据库,可以编写Rman脚本备份数据,再通过Crontab配置定时复制命令,将数据库备份文件复制到磁盘阵列。对于MySQL,可以使用自带的mysqldump工具,实现基于InnoDB的热备份。
  (2)使用操作系统自带工具。Linux操作系统中常使用dump和restore命令来实现文件系统的全备、增量备份和差异备份等备份方式,Windows Server下也自带了Windows Server Backup的备份和恢复工具。
  (3)基于存储的硬件备份。存储设备是使用硬件来实现数据的存储、备份与恢复,速度较快。通过存储,还可以使用更高级的存储技术,如快照、镜像、重复数据删除等功能。同一厂商的存储产品往往具有远程镜像的功能,可以将本地备份数据通过同步或异步的方式自动实现异地备份。然而不同存储厂商间的硬件备份技术使用不同的技术标准,互不兼容,从而导致不同品牌的存储不能实现硬件的远程镜像。运营商的核心数据经常需要保留三份以上的异地备份,就需要在三个地点都使用同一个厂商的存储设备,这也成为基于存储的硬件备份的一大阻碍。
  (4)基于备份软件。备份软件集成了各种数据库、文件系统的备份等功能,又具备了镜像复制、快照、重复数据删除、数据校验、SAN(Storage Area Network,存储区域网络)备份等高级存储功能。备份软件从软件上屏蔽了硬件设备的差异,可以统一管理服务器硬盘、磁盘阵列、虚拟带库以及物理带库等存储设备。同时,备份软件也可以实现对不同操作系统(Windows、Linux、Unix)、不同数据库(Oracle、SQL Server、MySQL)的备份。通过备份软件,系统管理员不需要对不同的操作系统、不同的数据库、不同的存储设备和服务器各自编写自动备份脚本,可以在统一的界面上通过命令行或图形化界面集中管理备份设备、存储设备、备份策略。因此,备份软件也是核心IT系统中常用的备份方式。   (5)备份一体机。随着一体化设备的发展,备份软件厂商纷纷推出集成了备份服务器、存储、备份软件的备份一体机设备。这种备份一体机可以在用户快速部署,大大方便了异地数据备份。
  2.3 备份软件
  备份软件架构如图1所示,主要由备份服务器、备份代理、存储服务器、Web服务器组成。
  备份服务器可以自动进行备份作业的调度,通过指挥备份代理和存储服务器共同完成备份、恢复任务。备份服务器维护着Catalog数据库,在数据库里存储备份恢复作业的信息及物理设备相关的信息。备份代理一般是安装在需要备份的主机中,调用相关系统的接口。在备份作业发起时,数据由备份代理读取并传输到网络。对于不同的备份对象,往往需要安装对应的模块。例如,为了分别备份Oracle数据库、SQL Server数据库,就需要在对应的主机中分别安装支持Oracle数据库模块和SQL Server数据库模块的备份代理。对于不同的操作系统,也需要安装相应的备份代理。存储服务器可以将关键数据存储在存储设备,如磁盘阵列、虚拟带库、物理带库,负责存储中备份数据的读取和写入。Web服务器为管理员提供Web管理界面。目前主流的备份软件不仅有商用的IBM TSM、CommVault、Symantec NetBackup、HP DP等产品,而且还有开源的备份软件Amanda、Bacula等产品。
  3 云计算对传统备份技术带来的挑战
  云计算技术在IT基础建设的引入,可减少硬件资源浪费,提高系统部署的速度,但也为备份带来了新的需求。
  (1)虚拟机备份代理。在存储中为虚拟机分配的空间,以虚拟机文件格式方式如.vmdk存储,虚拟机操作系统文件、用户数据放置在这个vmdk文件中。如果按照传统备份方式,要备份虚拟机中的系统和用户数据,就需要在每台虚拟机中安装备份代理。这种方式在占用大量的存储资源的同时,发起备份时也会占用大量的计算资源,从而影响虚拟机性能。
  (2)空白数据的空间占用。在分配虚拟机时,精简模式下的虚拟硬盘根据所需数据量的大小占用存储空间。虚拟硬盘空间随虚拟机数据量增加而变大后,在虚拟机中删除的数据并不会减少虚拟硬盘的空间大小,这样就造成大量空白数据占用了存储空间。如果对虚拟机的备份只是简单复制虚拟硬盘文件,就会出现备份中的有效数据少的问题。
  (3)数据冗余程度高。在虚拟机中,往往安装大量相同的操作系统、应用程序,这部分数据高度相同,如果直接通过安装在每台虚拟机中的备份代理来备份数据,则会造成大量的冗余,浪费存储空间。
  (4)备份颗粒度过大。通过虚拟化平台自带的虚拟化接口可以备份和恢复整台虚拟机,但往往需要备份的数据只是虚拟机中的部分用户数据,而不是完整的虚拟机。虚拟机级的颗粒度会拖慢备份恢复速度,消耗大量的存储空间。此外,这种方式也无法感知应用,难以保证数据的一致性。
  基于上述情况,传统的备份方式已经不适应云计算时代的数据备份,亟需针对云计算的数据备份技术。
  4 云计算环境的备份技术
  4.1 基于云计算的备份技术
  在云计算环境下,调用VMWare在数据存储方面的接口,可以有效地解决虚拟机的备份难题。
  (1)无代理备份。VMWare开放了VADP(vStorage
  APIs for Data Protection,用于数据保护的虚拟存储应用程序编程接口)的数据保护存储接口。备份软件调用VADP,即可与集成在vCenter中的vStorage for Data Protection模块通信,对每台虚拟机都实现不需要第三方备份代理的备份,从而减少备份对虚拟机计算资源的消耗。
  (2)数据块修改跟踪。VMWare提供的VMKernel
  级技术CBT(Change Block Tracking,数据块修改跟踪)可以判断在最后一次快照后是否有虚拟机数据块被修改,并标记被修改的数据。备份软件调用VADP接口,即可备份被修改的增量数据,而不需要对虚拟机文件做完全备份。
  (3)文件级备份恢复。VMWare FLR(File Level Recovery,文件级恢复)提供了浏览和装载虚拟机备份数据的功能。通过备份软件,调用VADP的FLR功能,可以实现对虚拟机的文件级颗粒度管理,而不需要做虚拟机级别的备份。
  (4)重复数据删除。传统的重复数据删除常使用固定数据块或者固定长度数据段等技术进行重删,但这种方式存在着即使数据集发生了非常小的改动,都会导致整个固定长度数据段的更改,从而不被识别为冗余数据。对于虚拟机的重复数据删除技术,常采用可变长度数据段。VMWare VDP(vSphere Data Protection,vSphere数据保护)技术能够分析数据集的二进制数据结构,确定数据段的边界,且适用于不同类型和体积的文件,从而实现智能化的重复数据删除。
  (5)vCenter集成。备份软件以vCenter插件的形式集成到vCenter的管理界面中,方便vCenter管理员管理虚拟机的备份,而不需要到专门的备份软件中处理。
  (6)应用感知。对于虚拟机中安装的SQL Server、
  Exchange、SharePoint、Active Direct等应用系统,可以通过在这些应用所在的虚拟机中安装VDP客户端,即可实现来宾级细粒度的管理,从而实现对虚拟机中的应用感知。
  4.2 重复数据删除
  对VMWare vSphere虚拟化环境,使用重复数据删除技术,对其中的30台虚拟机总共1053GB容量的虚拟硬盘进行全备份。在自动识别并剔除空白空间后,需要备份的数据只剩下虚拟硬盘数据的76.5%。而在使用重复数据删除进行消重后,实际写入存储空间的数据只有源数据的29.4%,因此实际重删比为70.6%。重复数据删除技术可大大减少虚拟机备份所需要消耗的存储空间。   初次全备份需要数小时的时间。在虚拟机进行数据读写操作,增加少量用户数据,此时再做全备份,备份时间可缩短到数分钟。这是由于调用了VMWare的CBT技术,使备份数据仅为修改的部分数据,从而加快了备份速度,减少了网络流量和备份数据量。

收起
系统集成 · 2017-10-18
浏览2851
王希瑞 邀答
baizhaoxianbaizhaoxian  容灾备份管理工程师 , 无
*云备份运营服务平台是为云计算、IDC平台提供的基于云计算模式的数据备份服务(SaaS),为各个云计算运营服务机构提供备份增值服务,通过统一建立的一套专业的共享备份平台,以“平台共享,数据私有”和“软件即服务”的模式对外提供服务。云备份运营服务平台为运营商提供多种收费模...显示全部

*云备份运营服务平台是为云计算、IDC平台提供的基于云计算模式的数据备份服务(SaaS),为各个云计算运营服务机构提供备份增值服务,通过统一建立的一套专业的共享备份平台,以“平台共享,数据私有”和“软件即服务”的模式对外提供服务。
云备份运营服务平台为运营商提供多种收费模式,如按客户端数量、按数据源容量或者按照备份使用的空间容量等,并提供统一的开通、监控、计费、故障维护等管理平台,整合到现有的管理平台中。
云备份架构图:
QQ截图20171019112249.jpg

QQ截图20171019112249.jpg

云备份硬件架构

系统盘    数据盘    CPU    内存    网络    备注

Agent 100G 2核4线程以上 8G 千兆
Master 100G 4核8线程以上 16G 千兆
Db 200G 4核8线程以上 16G 千兆
Device 100G 16T 2核4线程以上 16G 千兆/万兆 可多台,可扩充性备份
Web 100G 2核4线程以上 8G 千兆 连接邮件服务器
核心技术
云备份运营平台允许服务提供商能够提供基于多租户备份服务,租用客户可以将自己的数据保存在本地或者异地存储设备。需要时,用户可以快速和方便的恢复自己的数据。运营商可以集中监控和管理所有备份操作。我们提供的云备份系统集合了以下关键型技术:
**数据采集和恢复
安装在客户服务器上Cloud的客户端具有从各个操作系统和数据库中获取需要的数据的能力,并根据设定的时间安排,自动运行;当执行数据恢复时,客户端可以将从备份设备传输来的数据插入到操作系统或数据库系统中。
数据加密和压缩:
不同于传统局域网的备份,云备份必须更加注重数据的加密和压缩,不仅仅是节约宝贵的带宽,更是为了保证数据的安全,“平台共有,数据私有”是我们的设计原则,任何用户包括管理员都无法恢复用户的私有数据,我们会提供增强的加密手段,采用128位的AES加密算法,如果需要,客户还可以单独设置密码的方式以获得更加安全的数据保障。为了减少带宽的使用, Cloud在数据传输时采用了高效的压缩和重复数据删除技术,使得**备份和恢复更加快速。
* 网络穿透技术:*
虽然用户最终都会采用云主机和云存储的模式,但在目前大部分租户云上数据只是一部分,很多租户还是希望将本地机房的数据也备份到云中;还有客户需要将云上的数据备份到本地来。Cloud支持复杂的网络环境,**支持NAT,PPPOE、VPN等低带宽地址不固定的网络环境。
 并行与分布式架构:**
云计算用户的增长以及每用户数据量的增长,都要求云备份的容量是弹性的,Cloud采用分布式架构,可以通过并行的扩容提高存储容量和I/O带宽。
 运营管理、计费、SLA:**
Cloud云备份的商业模式是给用户提供增值服务,有可定制化的管理模式和收费模式,运营机构可以根据用户使用量(容量、客户端类型数量、带宽)进行收费,从而获得收益。
云备份价值:
** 保证租户数据安全,增加竞争力
 提供增值服务,增加收入
 增加海量存储空间的销售(将用户本地数据备份到云)
 提供其他云计算平台上数据安全
 为租户提供数据安全的同时,提高了云计算的竞争力。**

希望有帮助,谢谢!

收起
互联网服务 · 2017-10-19
浏览2554
王希瑞 邀答

问题来自

相关问题

相关资料

相关文章

问题状态

  • 发布时间:2017-10-18
  • 关注会员:3 人
  • 问题浏览:5495
  • 最近回答:2017-10-19
  • X社区推广