tt_45
作者tt_452018-07-02 13:58
技术经理, eenese

交通行业备份活动交流问答汇总

字数 9930阅读 1988评论 0赞 3

1、企业在建设备份恢复系统的过程中,都有哪些误区?
主要认识误区有下面几个方面:
1)用双机、阵列复制等系统冗余替代数据备份
双机双柜可实现服务器和存储的高可用性,保障业务持续运行,但绝不能替代备份,因为双机双柜能解决数据的物理错误,例如:服务器或存储故障,但解决不了数据的逻辑错误,例如:病毒,人为误删除数据(rm –f )等。

2)写脚本备份数据库代替数据备份软件
1个2个数据库还能操作过来,假如有100个数据库呢?除了数据库,其他的都要写脚本吗(除非是要开发个备份软件)?非常不建议这样操作,因为这样做问题太多了,如果有条件,就不要再人为写脚本备份了,不久前我碰到一个内部同行,一直用脚本备份的Oracle数据库,等恢复的时候发现每天备份的都是0KB,这才开会讨论脚本备份的没有数据验证功能。需要一套专业的备份软件来做这件事情,否则可能灾难重现。
3)操作系统不用备份
有人说,系统备份什么?坏了就重装呗,数据不丢就行,首先大家应该都用过Ghost软件,容易不?太容易了!其实Unix,Linux,Windows等系统备份恢复如果学会使用不比Ghost难多少,光盘启动,找到想恢复的时间点,分分钟系统就恢复到备份时的状态,但我们想一想,如果没有系统备份工具,我们要重装系统,然后找驱动,安装软件,系统优化,测试,这要多久,一个资深的运维技术6个小时你敢承诺系统能上线吗?我想没有人敢保证,我曾经看过一个工程师为了一个网卡驱动(非常老的服务器)花了一上午的时间。而且有的时候当时部署系统的工程师已经不在了,系统装上了,应用没人会装。想想现在我们的技术人员是不是大半夜的还有在机房维护操作系统的?运维人员忙的要死,天天救火,但技术又没什么长进,想想时间都去哪了。
4)想用CDP代替备份
不论是True CDP还是 CDP(就是业内说的真假CDP)都代替不了备份。我们都知道备份都是放在系统空闲时做,除了游戏企业外其他大多数企业都会选择在夜里备份,因为备份会占用大量系统资源,系统繁忙的时候是不可以备份的,(除非你想让用户骂)。CDP顾名思义持续数据保护,不论真假CDP, 24小时不间断对系统IO读取,对系统的性能影响可想而知,CDP通常嵌入数据中心关键业务应用的I/O路径中,是一个I/O聚散点,其任何不稳定都可能导致关键业务停顿。所以CDP只能用在部分业务上,增强备份软件RPO的指标参数,而不是替代备份软件,不会有企业傻到所有业务都采用CDP保护,而且CDP一定要测试后方能使用,如果遇到产品问题或兼容性问题,你的业务系统可能宕机。

2、贵企业在搭建备份系统中,犯过哪些错误?是如何解决的?如何避免?
1)多数铁路企业没有考虑到操作系统备份, 本来可以再10分钟就恢复到系统备份时的状态,如果没有系统备份,可能恢复一个系统需要几天的时间.所以企业需要考虑所有重要操作系统的备份.
2)没有培养和配备专业的备份人员,导致备份作业失败率高,问题处理速度缓慢,尤其出现灾难故障的时候不知道如何应对,缺乏专业知识的交流渠道。企业应该加强对备份管理员的重视,给与足够的培训机会,不断提升备份管理员的技术水平.
3)备份项目跟着工程走,每个工程可能会配一套备份系统,形成不同厂家的多种备份系统,很难集中管理,维护繁琐,每天巡检都会大量浪费人力资源。企业需要尽量整合资源,集中管理.
4)系统越来越多,环境越来越复杂,备份时间窗口越来越紧张。采用技术领先、产品兼容性好、技术支持完善的备份厂商产品。
5)很多工程的备份系统使用的是备份软件+VTL,这种情况,当VTL空间满了以后,过期的数据不能自动释放空间,需要人为手动操做,否则所有备份由于没有备份空间而失败,往往备份软件和VTL又是不同厂商,增加了维护难度。采用磁盘阵列或者备份一体化设备作为备份的载体。
6)没有容灾演练平台,都是哪个坏了就恢复哪个,恢复会存在很多不确定性,导致恢复时间长,或者不能恢复。需要在企业搭建自己的容灾演练平台。

3、贵企业在建设备份系统过程中,遇到过哪些技术难点?
1)备份环境越来越复杂,企业中包含各种类型操作系统,各种类型数据库,以及物理环境,虚拟化环境,云环境,缺乏集中、统一的备份管理平台,导致系统管理和维护复杂度增加,管理和维护成本上升;
2)现有物理系统缺乏统一的主机灾难快速恢复解决方案,UNIX、Linux、Windows等各个业务系统的主机灾难恢复主要依靠管理人员手工操作,不同操作系统平台采用完全不同的恢复方案,管理和维护复杂度高,而且效率低下;

3)存储空间问题:相应备份数据如果采用普通存放模式则需要耗费大量的存储空间。因此,如何能将这些数据高效安全的存放也是企业备份面临的的一个问题。
4)备份时间窗口问题,已经很难在一个晚上将所有数据做一次完整的备份。
5)单台服务器故障其影响可能会扩散到其他生产服务器:生产服务器同时管理备份设备,由于需要在SAN中与其他生产服务器共享设备,结果可能会导致关联其他服务器也要做配置变更管理
6)可靠性问题:涉及到备份数据的安全问题。因此,整个系统的可靠性尤为重要,备份经常失败会给企业管理人员造成过大的维护工作量。
7)缺乏必要的校验和恢复演习,面临灾难,手足无措,备份的目的就是可以把丢失的数据恢复到生产的状态,但备份的可靠性并不能够保证备份了的数据就一定可以百分百恢复出来。因此,需要进行定期的数据恢复测试确保备份介质的可用性。
8)缺乏专业的技术人员进行备份管理系统的维护,导致备份作业经常出现失败,也找不到很好的故障解决办法。

4、企业在建设备份系统中,有哪些备份路线可供选择?
可以分别采用4种备份方式:
1)LAN备份
基于局域网(LAN)的备份,服务器将局域网内不同主机的数据通过局域网备份到共享的磁带库中。这种集中备份管理架构,提高了磁带库的利用率,但是数据主要在局域网上传输,增大了网络传输压力。
2)SAN 备份
基于SAN的备份,需要备份的应用服务器通过SAN连接到备份介质上,应用服务器在备份软件的控制下,将数据通过SAN备份到备份介质上。这种架构将大量数据传输从LAN转移到SAN上,减小了网络传输压力,资源也得到了共享,但是备份时仍要耗费备份主机的CPU和内存资源,同时也占用光纤交换机端口。
3)Server-Free备份
也是一种基于SAN的备份,无须在服务器上缓存而直接从在线存储设备向备份介质拷贝数据。这种备份架构使用SCSI远程拷贝命令,允许服务器向一个设备(如磁盘)发送命令,指示它直接向另一个设备(如磁带)传输数据而不需要通过服务器内存。
4)SAN-Client备份
新一代的SAN备份技术,它可以帮助我们无需模拟磁带库的协议而实现光纤网络的 LAN-Free 备份,业务平台无需再承担安装备份设备驱动所带来的风险,同时避免了业务拓展造成的传统备份架构设备仲裁的问题。

5、如何根据企业自身情况选择合适的备份技术路线?各备份路线所适合的业务场景?
1)LAN备份
备份数据量非常少的应用主机建议使用基于LAN的备份。
2)SAN 备份
数据量比较大、备份频度比较高的应用系统应该采用SAN备份。
3)Server-Free备份
对于海量的数据库系统备份可以采用Server-Free的方式进行备份,即通过在生产服务器上触发磁盘阵列的快照,然后由另外的主机将快照加载并备份。
4)SAN-Client备份
所有采用SAN备份的客户端都适用于SAN-client备份.
企业在选择自家的备份方案的时候,要根据自身的实际情况来定。不但要满足当前的备份需求,还要满足未来一段时间内的扩展。不考虑容灾复制,就当前的备份软件来说,目前有以下几种传统备份软件,如IBM TSM,Veritas的NBU、Backup Exec、EMC的Networker、CommVault等等。支持商用市场主流的业务场景,如文件备份、数据库备份、虚拟机备份、邮件备份、erp备份等场景。当前主流备份软件的版本也大都支持重删、备份容灾复制、磁带离线保存归档等功能,并且最新的版本都更新了对几种主流公有云的支持。但对当前大数据、开源技术等方面的支持,略有不足。如果企业做综合的备份方案,需要备份覆盖的多种业务场景,并且符合上述的条件,或者有磁带离线保存需求的,需要优先考虑传统的备份软件。
基于cdp的备份软件,如飞康的cdp、emc RecoverPoint以及早年IBM的fastback等产品都属于cdp备份产品。cdp备份的原理是复制IO的写入,并利用copy on write+时间戳的方式标记,副本会独立存放。cdp备份摆脱了保护周期的概念,对生成系统的数据持续的跟踪保护。一般需要在主机端有一定的要求,如利用aix的lvm功能,其他平台可能需要agent来配合,会带来一定的开销和兼容性问题。 如果企业的备份方案对rto,rpo要求极短,并且当前的基础架构环境与cdp的实施环境吻合,经测试IO复制方面兼容性和性能都比较良好,可以采用cdp的解决方案。

面向特定领域的备份软件,如面向虚拟化的veeam备份软件。在细分的虚拟化备份领域做到非常好。如果用户需要备份的环境都是虚拟化环境,并且对容灾有一定要求,可以选择veeam这类行的软件。当然也可以选择tsm+spp的组合,spp的更多功能还有待未来的版本去更新。

6、DB2、Oracle、MySQL等数据库在线备份有何区别?数据库在线备份应注意哪些问题?

区别: DB2、oracle、MySQL都采用物理备份的方式实现在线备份数据。DB2数据库默认使用脱机备份方式,在线备份时需要修改数据库配置文件,同时启用归档模式。Oracle使用rman进行数据库的在线备份,对数据库进行备份时也需要启用归档模式。DB2和Oracle在线备份有三种方式:完全备份、增量备份和差异备份。Mysql使用Xtrabackup实现在线备份,但是Mysql的在线备份方式单一,只用完全备份。同时,Mysql只能对数据文件进行备份,不能备份日志文件。
注意问题:
1)磁盘读写限制:在线备份虽然不会阻塞数据库的正常操作,但是会产生一系列的硬盘读写。如果服务器本身I/O就比较繁忙,备份动作会进一步影响数据库的性能。注意增强服务器的硬盘读写处理能力,或者选择合适的备份窗口。
2)网络带宽限制:在线备份需要注意网络资源,数据库在线备份时会产生大量的数据传输,如果网络带宽不足将对业务系统产生影响。选择合适的备份网络或者合适的备份窗口。
三者都支持在线备份,都需要开日志归档,mysql中记得是binlog,意思差不多。
如果采用备份软件备份的话,当前大部分备份软件还是调用数据库自身的备份,大部分还不支持mysql。
注意事项:

  1. 备份的数据量:根据数据量测算备份时间、备份设备、选择合适的备份通道
  2. 备份窗口:受数据量和备份速度影响,还需要避开业务高峰段。
  3. rpo,rto:影响备份策略的设计。
  4. 备份时对业务的性能影响程度:如果影响大,通过错峰窗口、或server less等方案来规避

7、针对不同的备份路线,如何选择合适的备份设备?
备份路线的不同于备份设备的选择关系不大,主要的LAN备份设备不用带FC接口,SAN、SANclient、Server-free备份需要备份设备有FC类型接口。
目前基本三种:

  1. 传统磁盘存储:就是磁盘阵列,现在很多备份软件的新特性都是基于磁盘存储做的,如tsm的容器目录存储池,支持重删、压缩、节点复制等等;nbu的msdp也是基于磁盘存储。磁盘存储的价格也越来越低。
  2. 虚拟磁带库:底层也是磁盘存储,只是多了一层软件仿真的磁带库设备。适合原有的传统备份软件环境。压缩功能可以通过硬件实现。比如tsm只能通过磁带库来实现lanfree,这时vtl就发挥优势了。
  3. 物理磁带库:优点是便宜、可离线存储。确定是慢,并发备份需要多驱动器支持。
    综上,看自己需求了。

8、关于重删,何时在源位置,何时在目标位置?如何选择?
源端重复数据删除是指冗余数据在数据通过网络发送到备份服务器之前就被删除掉了,目标端重删是只数据发送到备份服务器或重删设备,由备份设备或者重删设备来完成重复数据删除.
目标重复数据删除的选择:如果有条件的话尽可能都使用目标端重删设备, 以减少备份存储的使用量降低硬件成本,延长数据保护周期.
源端重删技术的选择:不是所有环境都适合使用源端重删技术, 由于重复数据删除发生在源端,所以只有更少的数据通过网络传输并最终存储。然而,这样也就增加了客户端的处理开销。源端重删技术适用与特殊环境,例如:远程分支机构数据备份、海量数据备份.

当前的重删技术包含源端重删和服务端端重删两类。
以tsm为例(NBU也类似),tsm从v6版本开始支持重删,最早只支持服务端重删,后来开始支持源端重删。v7版本的7.1.3开始新增在线的重复数据删除功能,7.1.5新增了在线的压缩功能。重删可以有效的利用空间,但会以牺牲部分主机的性能为代价,因此:
如果备份服务器的配置很高,处理能力很强,可以选择目标端的重删和压缩。比如对于tsm v7,内存原本建议最低12g,但如果采用重删,则建议最低16g
如果源端的应用服务器配置很高,处理能力强,反而网络带宽不理想的情况下,可以选择源端重删和压缩。看怎么取舍了。

以上都是从软件实现的角度来说的。
除此之外,现在大多数的存储或虚拟磁带库本身是支持重删的,而且基于硬件的重删不损耗源端和目标端的性能。目前使用的也比较多。
不管软件还是硬件,可用根据自己的实际情况选择。

9、Netbackup一体机与其他产品相比,有何优缺点?
传统备份架构分析
按照传统的备份方式,需要购买备份服务器、操作系统、备份软件、以及备份设备(PTL、VTL),这种配置方式会带来太大的运维压力。如果LANFree备份方式,这样的备份设备可能直接受几十台服务器共享,这种趋势所带来的巨大挑战主要体现有:
1.产品选型、安装,维护过程繁琐,每个环节可能都需要和服务器、存储、操作系统、备份软件厂商交互,升级维护非常复杂,需要和多个厂商沟通来定位问题,有的时候会发生扯皮现象。
2.大型磁带库的巨额购买成本和每年的不菲的维护成本
3.共享业务平台过多,设备运维对业务平台的影响面过大,不但增加运维的压力,更给业务平台安全带来风险,并行备份的能力依然受到驱动器数量和机械臂的限制,备份策略的调度设计更加复杂
4.机械臂的数量有限,频繁的备份作业调度会大大影响带库的稳定性和使用寿命
5.对备份设备的变更,维护,需要生产系统重新扫描硬件设备,有些情况还需要重启动生产服务器,这会对生产系统造成影响。
6.因此本方案建议使用备份一体化产品,来降低风险,提高备份作业的成功率,增强业务能力。
备份一体机方案价值
NBU Appliance 智能备份一体机所带来的改变:
1.性能提升 – NetBackup采用了全新的Intel® Sandy Bridge硬件架构体系, 配备2颗Intel Xeon E5-2620服务器处理器,内置十二个运算核心,128GB的超大内存容量,增强一倍的硬盘访问速度,极大地提升了NBU的整机性能。
2.减少存储 – 可将备份存储减少 10-50 倍,还可将带宽消耗减少 99%,每个硬件设备提供 321TB 的可用重复数据删除容量 –可以保护前端数千TB 的数据,内置源或介质服务器端重复数据删除技术。
3.操作简单 – 通过预安装的 NetBackup 几分钟即可设置完毕,内置存储优化软件,动态扩展存储,内置系统加固软件,防止黑客或认为破坏备份系统 ,在后期运维管理方面提供给客户安心、无须参与的服务保障,硬件出现故障,Veritas会第一之间于客户取得联系。
4.可靠的硬件平台 – 系统可用性超过99.95%
5.先进备份架构 – 通过引进NBU Appliance的引进可以即插即用的实现SAN-Client的架构,业务主机不再需要管理备份设备,而通过NBU Appliance实现LAN-Free备份。这种备份架构实现了业务系统与备份系统的松耦合管理,备份系统作为一种服务体现。备份系统的发展可以实现按需扩展,而无需按照业务平台的数量扩展而扩展。每台服务器仅仅安装客户端软就就能让让每台服务器自己将数据通过SAN传送到磁盘或磁带库中。
优点:nbu软件原有的优点,加上一体机硬件集成后的性能、可靠性、易用性等方面的优势。竞争力十分明显。
缺点:贵,不差钱的无所谓了

10、贵企业在建设过程中,如何节省控制的运营成本?

采购成本:无需订购、审批、安排和交付各个介质服务器组件。
安装和集成成本:免去安装、集成、测试和性能调整带来的麻烦。
管理成本:使用一个管理控制台执行多项任务。
修补和固件更新成本:不再管理所有组件的修订级别、固件等,减少了兼容性问题。
支持成本:避免出现问题时各组件供应商之间相互指责。

存储:使用Veritas智能重复数据删除替换磁带,降低存储成本。
空间:将备份服务器与重复数据删除存储合并到一个硬件设备中,节省了宝贵的使用空间。
能耗与散热:作为符合ENERGYSTAR标准的备份一体机,NBU一体机减少了占地面积和能耗,从而让您更好地利用IT预算。

11、业界内做puredata一体机备份有哪些方案啊?应用较多的是那个方案?

我们说的备份一体机简单来说是一款将备份软件、备份服务器以及磁盘(存储介质)整合到一个架构中而形成的一个设备。
市场经常发声的备份专用设备有Veritas NetBackup 5240,飞康的CDP,爱数的备份存储柜,还有昆腾的DXi系列、EMC(Dell)DD系列、惠普StoreOnce以及华为的部分VTL产品等备份产品。
但是我们不难发现,这里面除了Veritas NetBackup 5240,可是称作“”备份一体机“”,其他方案和“”备份一体机“”还有所区别的,例如:飞康是做持续数据保护的(无法替代传统备份),爱数我在这里暂时不做评价,Dell、EMC、HP、华为只能称作VTL,即备份设备,具体哪个厂商应用的较多,还是看IDC的评测报告吧。大家可以再百度搜“IDC全球备份专用设备(PBBA)收入报告”。

现在比较多、比较成熟的备份一体机主要是NBU的备份一体机。
nbu一体机相当于是nbu软件+备份的硬件设备集成在一起的,在性能、易用性、可靠性等方面都有很大的提升。在软件上功能上和之前的nbu一样,如果自己公司的技术实力好,对备份存储有自己的规划,也可以直接使用nbu软件, 在一些容灾场景下,nbu软件和一体机集成方案和一起规划设计。
其他的一体机更偏向数据存储功能,如vtl等。
国内有不少做一体机的,如火星仓、曙光、爱数等等,但都没怎么接触过,感兴趣可以到官网看一下白皮书和相关成功案例。

12、NetBackup一体机如何实现速度和容量双重提升?

  NetBackup 一体机 内嵌了重复数据删除功能,其最大的特点就是基于内容识别技术,可以针对不同的数据内容,采用相适应的重复数据删除策略,以达到最大的重复数据删除率,提升了存储的使用效率。

NetBackup 一体机一款定制开发的专用备份设备,专为备份而设计、优化、不断创新NetBackup 5240 的吞吐量可达 53 TB/小时。

  目前市面上的备份方案,凡是使用容量提升的,不管是软件还是硬件,基本上是通过重删和压缩实现的,目前nbu包含如下几种去重技术:
  1. MSDP on media server
  2. MSDP on nbu appliance
  3. client-side dedup
  4. third-party appliance supporting OpenStorage Technology(OST)
    一体机默认使用第二种压缩方式,当然也可以根据实际情况使用3,4

13、不同虚拟化环境下(Citrix XenServer、VMware、hyper-v)的备份方法?

   Citrix XenServer 需要在需要备份的Guest分别安装NBU Agent 来备份.
   hyper-v 需要在Windows Server 上安装NBU Agent,然后通过Agent备份.
   VMware不需要安装NBU Agent,直接通过VMware API 备份,只需要在NBU服务器输入VC的管理员以及密码.
   对于虚拟化环境的备份支持,当前主流产品一般只支持VMware和hyper-v两个平台,这里的支持是指有专门的虚拟化备份模块,支持虚拟化产品备份相关的各种高级特性。其他虚拟化平台一般都是有限支持,有限支持的意思一般就是当作物理机来处理,在虚拟机内安装客户端。

14、netbackup怎么加速备份海量小文件?

    NBU通过Accelerator技术对大量小文件的高效备份,提供备份加速技术,提高数据备份的效率。

Accelerator技术使用了集中技术手段
1.永久的增量,合成备份.
2.记录哪些数据发生了变化,下次备份的时候不用全部数据扫描,只备份变化或增加的数据
3.前端数据重删技术.

      海量小文件是个特别麻烦的事情,有几个通用的方法:
  1. 从应用层调整,将应用生成文件的方式做优化,如生成的小文件自带合并成大文件,或者按时间段自动打包。这个是最彻底的方法,也是最不现实的方法。越大规模的应用分工越细,每个团队管一摊子自己的事,很难为了备份去推动应用的变更。这里只能说是愿景了。
    2.备份管理员和应用方通过沟通,在不影响业务的情况下。通过脚本+调度的方式定期对小文件进行打包。备份打包的文件。这种方法也比较麻烦,脚本最好包含打包后的文件完整性验证,而且恢复的时候多了一步解压缩的东西,也比较不方便。
    3.image备份。备份的时候直接备份整个卷,不备份文件。好处是备份速度快。缺点是备份数据量加大,未使用的空间也会备份,恢复的时候也麻烦。 适合小文件海量到一定的程度,备份窗口不够用,恢复场景少的情况。
    4.前3个方法是一些通用的方法,采用备份软件特有的加速技术,如nbu的accelerator,只备份上次备份以来变化的数据,并合成备份。配合nbu的源端去重技术效果会更好。这个是折腾最少的,如果当前的备份采用nbu,优先推荐。 这个受制于采用的备份软件,但是其他备份软件也有类似技术,比如tsm的永久增量备份+日志引擎,达成的效果和nbu的accelerator差不多。

15、NetBackup备份的永久保留数据如何手动删除?

    NBU删除永久保留的数据和删除非永久保留数据的操作过程是一样的.
   通过图形界面和命令都可以操作.
  1.在Catlog中找到你想删除的数据.
   2.执行Expired.
    在catalog里找到要删除的数据,如果数据多可以通过search查询,直接expire即可

16、虚拟化能否实现双机热备?

    虚拟化和双机热备没有直接关系,原来物理系统怎么做双机,虚拟化下照旧做是一样的1.虚拟化软件自身可以实现,例如VMware自带的HA
 .通过第三方软件也可以实现双机热备.例如 Oracle RAC ,Veritas infoscale
 如果是应用想做HA,也可以通过负载均衡设备实现HA,例如F5

17、NetBackup一体机数据备份如何实现?

    一体机只是集成度和性能更好,原理上和传统的nbu软件的备份方案是一样的。
    可以理解成media server和master server由一体机实现,客户端该怎么配置还怎么配置。
    NetBackup 5240是一款集成了备份、存储、重复数据删除、以及数据复制功能于一体的NetBackup硬件设备,极大的简化了客户配置和部署备份方案的难度。NBU5240开机初始化需要大概10分钟左右,连接相应的以太网,以及SAN网络。初始化后可以直接当NBU备份服务器使用(当然备份存储也在这台设备).初始化后即可以实现LAN备份、SAN备份、如果是备份VMware,只需要在一体机输入VC的身份认证。如果备份物理服务器,需要在物理机安装Agent。备份的时候可以选择数据走LAN还是走SAN。






如果觉得我的文章对您有用,请点赞。您的支持将鼓励我继续创作!

3

添加新评论0 条评论

Ctrl+Enter 发表

作者其他文章

相关问题

相关资料

X社区推广