powertiandi
作者powertiandi联盟成员·2016-12-27 10:09
系统架构师·李宁(中国)体育用品有限公司

磁带库在企业日常运维---经验与分享

字数 5515阅读 6102评论 0赞 3

本次磁带库交流活动本着以实际工作当中的应用场景为基础,把在工作当中遇到的有关磁带库方面的点点滴滴和实际经验予以交流与分享。
通过交流与探讨,在以下几个方面做了比较深入探讨:

  1. 磁带库在当今大环境下的优势与不足,未来和使用趋势。
  2. 磁带库的工作原理
  3. 磁带库未来的目前涉及不足与未来设计方向
  4. 磁带库日常监控
  5. 磁带库的容灾与备份
  6. 如何运用磁带库方案降低rpo和rto
  7. 磁带库的使用心得和体会
  8. 企业使用磁带库案例实际经验分享
  9. 磁带库实际使用中碰到的问题答疑

本次活动的得到了广大社区人员的参与和讨论,相对比较全面针对当今磁带库在企业当中应用的各个方面进行了交流和分享。本次活动得到了社区会员的大力支持,在此再次表示感谢。
下面我将本次活动中上面几个环节当里进行统一整理和总结,以相对比较清晰的形式呈现出来, 具体整理如下:

一 磁带库在当今大环境下的优势与不足,未来和使用趋势

相关问题:

物理带库相对于虚拟带库以及现在廉价的中低端存储还存在优势吗?
传统带库是不是正在被逐步淘汰?
磁带库用于容灾备份环境,相对于传统的存储设备作为容灾备份,优势有哪些?
物理带库和虚拟带库, 未来是否还有市场?
磁带库的使用前景如何

其中有关以上问题,主要有下面讨论与总结 :

优势:

  1. 对于特别的大的数据量备份,还是物理磁带库为主配合其他相关产品
  2. 带库还是有它存在的价值,所谓离线保存,历史归档还是需要的
  3. 总数据量在几十TB级别可考虑虚拟带库,若数据量更大,例如PB级别,那么还是物理带库比较合适。建议确定一个磁带的使用年限,过期就换,保证数据安全性
  4. 物理带库可作为最低级的数据备份及归档存储,单位容量成本比中低端存储还是低了很多
  5. 我们有客户的生产系统,由于前阵子反倾销,从十多年前的磁带上导出需要的数据来,都没啥问题。磁带存储具有保存时间长、不占用磁盘空间、只占用物理存放空间,在这个能耗过大的时代,那些长期不用的数据存放在磁带上保存还是相对环保的。
  6. 需要出库保存,异地存放,目前ibm 有款软件spectrum archive 可以使用gui 界面直接管理磁带库,增添了使用的便捷性
  7. 应用的是少了很多,但是在离线保存这块还是不可替代。
  8. 带库优势有:存储数据量大,容量大,价格便宜

不足:

  1. 物理带库觉得优势都不明显了,中低端的存储现在容量也挺大的!用磁带备份的数据量大,其实恢复的时间也挺长的
  2. 传统带库市场份额越来越低,物理带库备份效率低,现在虚拟带库使用量挺多的,楼上的兄弟干嘛不买一个存储呢?中低端的存储我也感觉比物理带库强!
  3. 磁盘备份设备可以做到数据定时复制,RPO可能更高于磁带出库的方式,并且操作起来比较便捷。
  4. 虽然磁带价格便宜。可以归档保存。但磁带对环境的要求也相对严格一点。很难说几年以后需要磁带的时候反而磁带损坏,或者磁带库,驱动器老化,设备故障。导致几年以后需要的时候数据无法恢复啊。以前用很老的stk9730就有过这样的问题。

未来的趋势:

  1. 把磁带用于数据归档,磁盘用于数据备份。
  2. 使用蓝光光盘库,采用蓝光光盘,单张光盘100G,12张组成一个盘匣,盘匣内光盘做RAID,利用现代机器人抓去光盘刻录,读写。数据不可被篡改,保证数据存50年
  3. 如果备份数据可以归档至对象存储,也是一个不错的长期保存的方案,并且通过复制,也能做到多地冗余。

二 磁带库的工作原理

相关问题:
IBM的TS3310磁带库工作原理是什么?

主要讨论有:

  1. 工作原理和一般带库一样,通过相关备份软件来调动磁带库工作,通过机械手抓磁带放到driver里面,系统通过driver读写磁带的内容
  2. 我们这里讲一般来说磁带库设备通过物理(分区)或VTL的方式,呈现出一个设备或多个设备供主机设备识别,然后在主机上安装相应的驱动程序,设备成具体的设备文件,通过备份软件sbt接口api进行调用,最终完成备份软件调用磁带库完成数据存储和读取操作。

三 磁带库未来的目前涉及不足与未来设计方向

相关问题:
物理带库的哪些板卡应该采用冗余设计?

主要讨论:

  1. 应该都冗余,机械臂也冗余才好。问题是这些都是需要成本的,厂家为了区分产品的线,也不能把这些都做的那么冗余
  2. Path Failover提供控制链路和数据链路的冗余。
  3. 控制链路的冗余是指,当主机中HBA卡或者带库中磁带驱动器发生故障时,在不中断当前业务的同时自动切换到另一条链路。
  4. 数据链路的冗余是指,在SAN环境中,配置多个环节的冗余设置,当通路故障时,切换当前应用至冗余通路,并提供对故障的校验及恢复
  5. 带库的结构好像比较简单。似乎除了驱动器,电源,其他的也不具备冗余的条件了吧。

四 磁带库日常监控

相关问题:
常用磁带库的管理监控工具有哪些?

主要讨论 :

  1. 平常运维主要是基于带库的管理界面
  2. 磁带库的监控目前来说手段比较少,带库很多时候都有snmp支持,可以考虑使用zabbix结合snmp实现部分监控功能
  3. 还要就是结合备份软件,使用脚本方式进行日常巡检。
  4. 用SNMP去监控, 自己刚做的, Zabbix+SNMP监控IBM TS3100

五 磁带库的容灾与备份

相关问题:
物理带库能否像虚拟带库一样,实现异地灾备复制?

主要讨论:

  1. 磁带克隆出库,大环境比较繁琐
  2. 这个物理带库也可以实现的,通过备份软件实现异地数据备份

六 如何运用磁带库方案降低rpo和rto

相关问题:
在日益增长的数据备份压力下,如何合理规划磁带库备份从而降低RPO/RTO?
如果某个磁带库或某几个同时故障,该如何平稳更换新的磁带库?

主要讨论:

  1. 增加驱动器,通过一些备份软件是可以实现并发备份
  2. 如何从降低rpo和rto要求上考虑,建议采用虚拟磁带库比较合适,备份恢复速度快
  3. 加驱动器,并发备份在一定程度上是有用的。但是系统出口带宽总是有上限的。达到这个带宽后,就很难有实质提升了
  4. 磁带库能够做到的容灾是很有限的,短周期内故障或者实时故障,磁带库备份的适用性更加小。

这些问题的根本原因是因为备份的滞后性,因为备份是需要时间的,并不是转眼完成。因此,单纯提高备份设备数量和性能,收益也不会很大,尤其是生产性能不太高的情况下。备份发起时大量的io和网络流量,基本可以让业务处于半瘫痪状态。最高的备份连续性和最高的业务处理效率在一定程度上是相排斥的。
如果需要更高的实时保护,更多依靠存储,多活,多中心。更高的大周期数据保护才是磁带库致力重点,提高备份系统性能,包括磁带库性能,更高性能的磁带库?更高标准的磁带机?更多的备份设备?以及生产系统对备份更大的忍受度
还是建议使用VTL和物理磁带库想结合的方法,VTL基本上可以保证驱动器的数量和读写的性能问题。
部分数据迁移物理带库的方式相对来说比较好一些。

如果要求的实时性再高的话,基本上可以忽略常规的备份方式了,可以考虑CDP,实施数据恢复,成本也高。

所以还是那句话场景决定了架构。

七 磁带库的使用心得和体会

相关问题:
选择磁带库过程中,关于功能、性能、磁带库互备、未来拓展等方面的心得体会分享
磁带库在企业日常运维中的小体会
STK磁带库与IBM磁带库的对比感受总结

主要讨论:

  1. 虽然磁带库就是那么一个铁盒子,倘若选择不慎,日后磁带库日后运行、维护成本也是一笔不小的开支,甚至因为磁带库耽误重要灾难恢复的窗口。借此机会分享下磁带库选择的心得,手机码字不便,望各位交流补充。
  2. 标准1:磁带库功能
    解析:磁带库功能虽然同质化,但一些特色功能(虽然也很普及)如克隆、复制、消重等,也在日后逐渐变为重要需求。先根据功能需求选择细化选择范围。
    标准2:磁带库性能
    解析:厂商磁带库彩页宣传性能如何如何,等到设备上架后,效果大打折扣。对于磁带库性能,因为数据中心数据库架构、文件系统数据类型、存储瓶颈等因素,往往性能大打折扣。若需要采购磁带库,建议从需要保护的最大数据出发:假设数据库10T,需要在7小时内完成备份,LTO5磁带机140MB/s,那么至少需要磁带机数为1010241024/7/3600/140个。考虑到备份速度并非理想,按照70%效率比来换算就可以得到配置。然而这并没有结束…还需要考虑磁带机冗余,应以1.2过其他倍数的冗余避免磁带机故障带来的备份性能降低…
    标准3:磁带库互备
    解析:单纯以物理或虚拟磁带库承担核心备份,潜在风险也是大大存在,如:物理磁带损坏、虚拟磁带库BUG等。在项目经费支持的情况下,强烈建议考虑磁带库互备。 个人常用思路是,备份性能需求高的核心备份直接备份到高性能的磁带库(建议物理磁带库)上,再在白天备份平缓期向低性能的磁带库克隆一份,防止磁带损坏或数据丢失。备份性能需求不高的非核心备份直接备份到中等性能的磁带库(建议虚拟磁带库)上,是否需要克隆多份看需求。如果数据要长期保存,可以克隆到物理磁带库上离线保存,虚拟磁带库上保留一份短周期的备份应急。
    标准4:未来拓展
    解析:很多方案是不会考虑这一步的,但往往以后需要计划的时候成为痛点。一是多数据中心的备份系统,二是多备份系统融合。通常为第一点做考虑,多地备份数据通常需要拷贝、克隆,因此在对大型备份系统建设初期,也要兼顾后期需求,在磁带库的配置上预留一部分空间,如磁带机槽位,磁带槽位配置,以及以后克隆预想等。
  3. 万事开头难,备份系统的存储介质若是挑选不当,日后性能不足、拓展等等受限,甚至磁带库的维护成本大幅提高。
  4. 前后接触过一些磁带库。主要是STK和IBM的几款低端带库。分享一些体会吧,
    Ⅰ.STK的带库普遍是有透明的观察窗。可以直观的看到机械手的动作和取出的对应的磁带,而IBM则没有,只能听声音和管理界面去查看是否机械手工作。个人感觉来说并不是很方便,
    Ⅱ.STK的带库如果出现异常情况。可以直接打开柜门处理异常的磁带,柜门并没有机械方式控制,IBM的带库则需要通过面板来操作。使用起来有点麻烦,一个直接的对比是。以前给STKL80加磁带,直接打开柜门。把所有的磁带手工塞进去,然后TSM里在去搜索,同步,但是IBM的3200就要分别取出四个磁带抽屉,把磁带加进去,所有磁带加满至少需要四次操作。
    Ⅲ.不确定和我硬件的微码有没有关系。以前用STK 9730 还有l80的时候从没有提示过清洗驱动器。几年下来也没有什么异常,但是IBM的3200就差不多要几个月就提示清洗一次驱动器。现在用了几年。连清洗带都坏了一盘。两者都是在同一个机房环境下的,至于安装上也都是符合基本的标准,所以物理上应该不会有什么外在因素造成这样的情况。
  5. 总体感觉TSM的带库并没有STK的带库那样用起来顺手,。

总结:
这些体会都是长期工作一线的工程师经验教训,都是不知道踩过多少坑爬过多少山才积累下来的真知灼见,希望可以给后来人以参考,避免犯同样的错误。

八 企业使用磁带库案例实际经验分享

相关案例
案例分享:在STK L180磁带库上爬过的坑
http://www.aixchina.net/Question/224603
昆腾QUANTUM i40 物理带库备份失败-案例分享
http://www.aixchina.net/Question/224601
TS3200卡带 故障解决案例分享
http://www.aixchina.net/Question/224443
AIX 7.1环境NBU备份Oracle rac数据库,磁带库驱动器故障导致备份失败案例分享
http://www.aixchina.net/Question/224415
分享一个 TSM+昆腾磁带库 的小案例
http://www.aixchina.net/Question/224311
总结:这些案例一个个都是那么典型,鲜活,是我们日常工作当中最普遍,最多的。希望在后续的过程当中及时归纳总结使用案例,丰富我们的知识库。

九 磁带库实际使用中碰到的问题答疑

相关问题:
NBU备份软件+TS3500带库,为何会备份不成功?
http://www.aixchina.net/Question/224309
磁带库上TSM中log异常增长的问题该如何解决?
http://www.aixchina.net/Question/224457
磁带库TS3310更换驱动器后AIX系统识别不出来的问题
http://www.aixchina.net/Question/224305
TS3200磁带库更换driver后光纤卡没光,如何解决
http://www.aixchina.net/Question/224461
IBM TS3100单驱动器升级双驱动器问题
http://www.aixchina.net/Question/224635
各种os层面是如何安装和识别磁带库设备的?
http://www.aixchina.net/Question/224315
ts3310带库从上线至今有近5年时间,平均不到一年更换一个驱动器,3万一台,求保养秘籍!
http://www.aixchina.net/Question/224291
ts3200驱动器坏了,更换后驱动器微码高
http://www.aixchina.net/Question/224615
例文中具体如何快速升级驱动器微码?
http://www.aixchina.net/Question/224615
客户没钱买磁带,但磁带一般规定寿命为三年,过了三年后大概还能使用多少次?风险概率有多大?
http://www.aixchina.net/Question/224591

在以上这些问题中,广大的同行和社区的专家们献计献策,帮我们答疑解惑,指示方向。让磁带库后续的使用过程更加的顺手,让我们的方案更加的行之有效。由于问题种类很多涉及到方方面面,具体的内容,详情见帖子。
在此再次感谢大家的积极参与奉献。

如果觉得我的文章对您有用,请点赞。您的支持将鼓励我继续创作!

3

添加新评论0 条评论

Ctrl+Enter 发表

作者其他文章

相关问题

X社区推广