Gavin_wang
作者Gavin_wang联盟成员·2018-05-23 15:50
存储工程师·git

带库与虚拟带库的基础知识

字数 7326阅读 13190评论 4赞 3

本文主要梳理3块内容:带库产品的基础知识、虚拟带库产品的基础知识和LTO技术。

一、企业级磁带库产品分析

主流企业级磁带库产品有:IBM的TS3500、Quantum的Scalar i系列、Sun/STK的SL8500。其中他们产品的侧重点又略有不同:
IBM
世界最大的磁带设备提供商之一,和HP、昆腾一起拥有LTO磁带技术专利,独家拥有TS1120磁带机技术。代表产品为TS系列磁带库。中低端磁带库TS3310 (为Quantum原厂产品);高端为IBM TS3500 (大名鼎鼎的3584) 。IBM的磁带库和它的主机和存储软硬件产品一起构成整体解决方案。IBM的重点在于磁带机驱动器技术,其中IBM LTO3驱动器市场占有率第一,包括昆腾很多的磁带库也采用IBM LTO3驱动器。
昆腾
世界最大的磁带库设备制造商之一,提供全系列磁带设备、虚拟磁带库产品等。2006年并购另一家世界最大的磁带库厂商之一ADIC。拥有最多的磁带专利技术:DDS/DAT、DLT/SDLT、LTO(和HP、IBM一起)。为多家厂商(HP、Dell、IBM、SUN)提供OEM产品。代表产品有Scalar系列、PX系列磁带库。昆腾是独立的磁带库、虚拟磁带库、归档管理解决方案提供商。昆腾公司还提供创新的虚拟磁带库技术,由于采用了重复数据删除技术可以将极大提升空间利用率,降低磁盘备份成本。
Oracle/Sun
2005年底并购世界最大的磁带设备提供商之一StorageTek(STK),提供多种磁带库全线产品。低端磁带库为C2、C4(Quantum OEM产品),中高端磁带库为SL500、L1400、SL8500。与它的主机和磁盘产品一道构成综合解决方案。

下面以IBM产品为例,介绍一下磁带库产品的基础知识:
A、IBM 磁带库的历史
IBM的磁带技术具有悠久的历史,体现在以下两点:
1、IBM在1952年发明了磁带数据存储,并发明了盒式磁带数据存储;
2、IBM在1985年推出了第一个盒式磁带驱动器和数据存储介质。
B、IBM 3584磁带库的详细说明
IBM 3584磁带库是采用模块化的设计,它的最小组成可以只有一个控制机柜、一个磁带驱动器。其扩展能力非常优秀,它最大可以扩展到16个机柜、192个磁带驱动器。IBM 3584的容量可以从8.7TB到9300TB(非压缩情况下),可以满足用户不同容量的需求。
它可配置双磁带库控制单元、标配有双磁带抓取器的机械手和机械臂。3584磁带库的控制信息数据库可以得到数据镜象(RAID1)的保护,提供了极高的可靠性。3584磁带库最大的联机磁带数据处理容量达到9300TB
在IBM 3584磁带库中使用了IBM LTO高性能磁带驱动器(Drive)。这是一款目前性能最高的磁带驱动器(IBM 3592 磁带驱动器推出后,仅次于3592),在IBM 3584磁带库中,磁带驱动器均支持热插拔,并且支持冗余电源保护。
注:磁带机=磁带机驱动器;磁带库=磁带机之和
C、IBM 3584磁带库模块如下

控制单元L52
控制单元(LTO Base Frame)是3584的心脏和大脑,它包含一个磁带库管理控制工作台。3584控制单元由控制工作台、盒式磁带抓取器、I/O工作窗口、条形码识别器,最多12个LTO磁带驱动器,以及多达287个LTO盒式磁带带仓组成。

驱动器单元D52
3584 LTO驱动器单元(LTO Expansion Frame)具有增加磁带驱动器单元的能力。最多12个LTO磁带驱动器,也可以不配磁带驱动器,最大440个LTO盒式磁带带仓。

磁带库管理程序
3584磁带库管理程序是安装在3584控制单元的控制工作站内,它可以控制以下功能:
1、与主机/服务器进行通讯,接收主机/服务器对磁带库访问操作的请求,返回磁带库的状态;
2、控制盒式磁带抓取器和机械手;
3、盒式磁带在机架中的位置,控制程序维护着磁带库中逻辑卷与磁带物理位置的库存表(inventory)数据库,该数据库可以存放在两块磁盘上;
4、 控制盒式磁带在机架间、磁带驱动器间的移动;
5、 磁带驱动器的自动清洁;
6、 磁带库性能优化;
7、 改变磁带处理优先级;
8、 错误恢复;
9、 错误记录和操作性能记录;
10、 远程支持系统,提供远程拨号登录服务,使用IBM维护人员能够远程登录3584磁带库来进行维护;
11、 基于Web的磁带库管理界面,方便的图形化管理(该内置软件被称为 IBM TotalStorage UltraScalable Tape Library Specialist),方便客户从企业的任何地点对磁带库进行管理;
12、用户可以选择在不同的磁盘上同时存放两个磁带库管理程序数据库。当正本所在磁盘发生故障时,磁带库管理程序可自动切换到副本所在的磁盘,从而大大提高了系统的可靠性和可用性。

盒式磁带抓取器
盒式磁带抓取器是以可靠性最高和性能最高为目标设计的,它可以将磁带在存储单元、磁带驱动器和I/O工作窗口之间移动。盒式磁带抓取器的机械手可以作水平、垂直的运动,并且可以旋转180度,在机械手上有一个激光条形码识别器。
盒式磁带抓取器具有以下能力:
1、 一个盒式磁带抓取器即可以存取全部盒式磁带。
2、 抓取器可将磁带库中任一盘磁带放入任一个驱动器。
3、 条形码识别器通过激光扫描盒式磁带上的条形码作到快速的编目管理。
4、作为标配的双机械手可以提高性能(在最大配置时可提高40%)和可用性。
5、优化的双机电抓取手,可实现互为冗余备份

盒式磁带I/O工作窗口
使用I/O工作窗口不用停止盒式磁带存取器的工作一次可添加或取出多达16盘至32盘的盒式磁带。操作人员也可以人工方式添加盒式磁带:打开门将盒式磁带插入任何适当的插槽,或用大容量输出设施成批取出盒式磁带。

D、值得一提的技术特点
3584采用先进的驱动器World Wide Node Naming 设定系统。该领先的特性可实现当更换新驱动器的时候不会丢失光纤通道World Wide Node Name(WWNN)的定义。3584产品内置了行业标准的Worldwide Node Naming(WWNN) convention设定系统。具体来说,在每次驱动器重置或加电的时候,采用了磁带库模块序列号加上驱动器位置的规则体系重建WWNN。也就是说在更换Frame x Row y位置上的驱动器时,它的WWNN是不会改变的。该先进特性能够避免增加和更换驱动器时主机和光纤交换机的重新配置,从根本上免除了主机系统控制软件、SAN 参数的重新设定而引起的系统不可用甚至崩溃的情况。该特性保证设备命名的一致性,对于SAN 环境下的磁带库使用尤其重要,具有竞争优势。

二、初识虚拟带库产品

虚拟带库(VTL)的概念

虚拟带库(VTL)是指使用基于磁盘的存储(而非磁带)介质,仿真磁带库功能的存储设备。简单地说,虚拟磁带库就是电子化的机械磁带库,其诞生是为了解决机械磁带库的设备安全难题。

磁带库备份方式的缺点

备份恢复能力差,备份流产率高,磁带之间没有容错保护,备份失效率高;如果某盘数据磁带上的某一点因卡带、磨损、沾连、霉点或其他原因而不能读出,可能会导致整个数据库无法恢复。(磁带备份不可恢复率高达20%)
机械磁带库由机械手,磁带驱动器,磁带等系列非封闭、损耗性机械装置联合组成。任何一部的单点故障,均可导致整体备份工作流产。且本身维护成本高。

VTL比带库产品具有的优势

虚拟磁带库采用基于RAID保护的磁盘阵列代替无容错能力的磁带作为备份存储介质,从而将备份的可靠性较常规磁带备份提高了若干量级。(MTBF提高5倍)
采用虚拟机械手和虚拟磁带驱动器,对上层透明,与带库的管理方式无异,且性能有提高,还可利旧。(企业级的虚拟带库一般建在NAS的文件系统之上)
注:
1、虚拟磁带库的性能不是由仿真的磁带机标准决定而是由控制系统和后端的磁带系统决定。
2、虚拟带库与带库的关系:并存于数据中心,而非替换。
3、磁盘备份到磁盘(D2D)和磁盘备份到磁盘再到磁带(D2D2T)的备份方式,几乎所有的主流备份软件均支持这两种备份方式,可以很好地解决磁带在处理非稳定数据流备份/恢复上的问题。

VTL与直接磁盘到磁盘备份的比较

采用虚拟带库备份,本质上是磁盘到磁盘的备份,那么与镜像或快照的方式相比,磁盘到磁盘的劣势主要有3点:
1、D2D解决方案总体拥有成本过高,与通用备份软件如NBU等不兼容,必须购买存储原厂的专业软件。
2、依赖于操作系统的文件管理系统,从而无法避免大量的File Systems Overhead。
3、非归档格式,无法与磁带归档关联。
虚拟磁带库对比镜像或快照备份的技术优势主要为:
1、备份管理可采用物美价廉的通用备份软件,用户总体拥有成本因之得以大幅降低;
2、无需改变既有备份策略与流程,无需重新培训人员;
3、与传统磁带完全兼容,使用户兼备磁带存档能力;
4、突破操作系统限制,将备份性能提高到常规磁带库的数倍以上。

VTL的三大组件:

PC服务器(Intel x86基于Linux的服务器)、VTL软件(仿真磁带库和磁带驱动器)、基于RAID技术的存储设备
(注:个别厂家将这些组件绑定成一个成品销售,也可分置购买)
虚拟带库(VTL)的三种架构类型:备份软件型、应用服务器型(VTL Appliance)、智能化专用型(Intelligent High Preformance VTL)

VTL的发展趋势:

专一化、专用化、一体化、精简化、独立化

VTL具有的高级功能:

硬件加速、重复数据删除、复制、级联、数据压缩、加密等。

以下同样以IBM产品为例介绍虚拟磁带库产品:
IBM TS7000系列虚拟磁带库
IBM TS7510是IBM TS7000系列虚拟磁带库的第一个成员,它可以通过特别虚拟软件将服务器和磁盘阵列的组合虚拟成一台或者多台磁带磁带库,从而实现将逻辑上的磁盘到磁带上的备份转换成物理上的磁盘到磁盘上的备份,帮助实现信息生命周期管理和业务连续性。

A、IBM TS7510虚拟磁带库的组成
标号 描述 实际产品 其它
3952-F05 3952 Tape Frame 机柜
3954-CV5 Virtualization Engine Server Linux based xSeries 346
3955-SV5 Cache Controller DS4100 250GB * 14 可用2.5TB
3955-SX5 Cache Module EXP100 250GB * 14 可用2.5TB (扩展柜7~8)
可用3.0TB (扩展柜第1~6) (扩展柜第9~14)
5639-CC7 Virtualization Software
最小配置包含1个机柜,1个3954-CV5和2个3955-SV5,裸容量7TB,可用容量5TB;
最大配置包含2个机柜,2个3954-CV5、2个3955-SV5和14个3955-SX5,裸容量56TB,可用容量43TB。

B、支持备份软件
Computer Associates BrightStor ARCserve Backup
EMC NetWorker
IBM Tivoli Storage Manager
Symantec NetBackup
C、主要连接方式
IBM TS7510虚拟磁带库有4种连接方式:
方式1,IBM TS7510虚拟磁带库作为唯一的备份设备,不存在任何实际磁带设备。
方式2,IBM TS7510虚拟磁带库作为前端备份设备,后端连接IBM 3494/3584磁带库,3494/3584磁带库和备份软件没有直接关系。这种方式下,虚拟带库可以通Import/Export命令在虚拟磁带和实际磁带之间复制数据。
Import命令将物理磁带内容拷贝到虚拟磁带上,有三种模式:
Copy Mode : 复制物理磁带所有内容到虚拟磁带;
Direct Access Mode:建立物理/虚拟磁带的只读连接,不复制内容;
Recycle Mode: 复制物理磁带前10MB数据到虚拟磁带。
Export命令将虚拟磁带上内容拷贝到物理磁带,有两种模式:
Move Mode : 复制虚拟磁带内容到物理磁带,删除虚拟磁带;
Copy Mode : 复制虚拟磁带内容到物理磁带,保留虚拟磁带。
方式3,IBM TS7510虚拟磁带库和物理磁带库共同作为前端备份设备,备份软件同时控制虚拟磁带库和物理磁带库。这种方式下,虚拟带库可以通过备份软件命令在虚拟磁带和实际磁带之间复制数据:
方式4,虚拟带库可以通过远程复制软件在虚拟磁带之间复制数据。
注:
1、除TS7510产品外,IBM还有TS7520、TS7530、TS7620、TS7650、TS7720、TS7740、TS7760(TS77系统只能连接大型机)等设备型号。
2、以TS7520C为例,查看产品规格如下:
微信图片_20180523154538.jpg

微信图片_20180523154538.jpg

3、VTL同级别产品性能比较:(图片来自互联网)
微信图片_20180523154608.jpg
微信图片_20180523154608.jpg

三、LTO技术

LTO(Linear Tape Open)技术,即线性磁带开放协议。是由HP、IBM、Seagate这三家厂商在1997年11月联合制定的,其结合了线性多通道、双向磁带格式的优点,基于服务系统、硬件数据压缩、优化的磁道面和高效率纠错技术,来提高磁带的能力和性能。
LTO技术有两种存储格式,即高速开放磁带格式Ultrium和快速访问开放磁带格式Accelis,它们可分别满足不同用户对LTO存储系统的要求,早期(LTO-1时期),Ultrium采用单轴1/2英寸磁带,非压缩存储容量100GB、传输速率最大20MB/s、压缩后容量可达200GB,而且具有增长的空间。非常适合备份、存储和归档应用。Accelis磁带格式则侧重于快速数据存储,Accelis磁带格式能够很好地适用于自动操作环境,可处理广泛的在线数据和恢复应用。

LTO技术规格

目前已经发展到第7代LTO产品,具体规格如下图:
微信图片_20180523154658.jpg

微信图片_20180523154658.jpg

详细的容量、压缩率、传输速度对比如下:
LTO 1:容量:100GB(200GB 使用2:1压缩比) 传输速率:15MB/s
LTO 2:容量:200GB(400GB 使用2:1压缩比) 传输速率:35MB/s
LTO 3:容量:400GB(800GB 使用2:1压缩比) 传输速率:80MB/s
LTO 4:容量:800GB(1600GB 使用2:1压缩比) 传输速率:120MB/s
LTO 5:容量:1.5TB(3TB 使用2:1压缩比) 传输速率:140MB/s
LTO 6:容量:2.5TB(6.25TB 使用2.5:1压缩比) 传输速率:160MB/s
LTO 7: 容量:6.0TB(15TB 使用2.5:1压缩比) 传输速率:300MB/s
LTO 8: 容量:12TB(30TB 使用2.5:1压缩比) 传输速率:360MB/s

LTO的路线图

根据发展规律,大概如下:
微信图片_20180523154729.jpg

微信图片_20180523154729.jpg

注:
1、LTO-4和LTO-5的压缩率是2:1,往后发展到2.5:1
2、LTO-8技术产品IBM已于2017年12月份发布,较上一代,容量提高一倍,性能提高了20%;但对比IBM在2017年6月份发布的专有技术格式TS1155略逊一筹,TS1150的压缩比例为3:1,裸容量15TB,压缩容量45TB,S1155采用新的TMR读传感器头技术,在JD类型介质(JD/JZ/JL)的15TB要比上一代TS1150 的10TB高出50%,而且还支持JC 4TB(只读)和JC 7TB(读写)

LTO磁带与LTO磁带机读写速度及兼容性

LTO技术类型只向下兼容两代,两代中最近的一代为读写兼容,之后为只读兼容,速度仍然按照各个类型的速度,例如LTO4磁带机可以读写LTO3磁带速度为80M/S,可以只读LTO2的磁带速度为35M/S。
LTO8 驱动器
可读写LTO 8磁带;传输速率为360MB/s,支持WORM功能
可读写LTO 7磁带;传输速率为300MB/s,支持WORM功能
只读LTO 6磁带,传输速率为160MB/s
不支持LTO 1、LTO 2、LTO 3、LTO 4和LTO 5磁带
LTO7 驱动器
可读写LTO 7磁带;传输速率为300MB/s,支持WORM功能
可读写LTO 6磁带;传输速率为160MB/s,支持WORM功能
只读LTO 5磁带,传输速率为140MB/s
不支持LTO 1、LTO 2、LTO 3和LTO 4磁带
LTO6 驱动器
可读写LTO 6磁带;传输速率为160MB/s,支持WORM功能
可读写LTO 5磁带;传输速率为140MB/s,支持WORM功能
只读LTO 4磁带,传输速率为120MB/s
不支持LTO 1、LTO 2和LTO 3磁带
LTO5 驱动器
可读写LTO 5磁带;传输速率为140MB/s,支持WORM功能
可读写LTO 4磁带;传输速率为120MB/s,支持WORM功能
只读LTO 3磁带,传输速率为40MB/s
不支持LTO 1和LTO 2磁带
LTO4 驱动器
可读写LTO 4磁带;传输速率为120MB/s,支持WORM功能
可读写LTO 3磁带;传输速率为40MB/s,支持WORM功能
只读LTO 2磁带,传输速率为20MB/s
不支持LTO 1磁带
LTO3 驱动器
可读写LTO 3磁带;传输速率为40MB/s,支持WORM功能
可读写LTO 2磁带;传输速率为20MB/s
只读LTO 1磁带,传输速率为10MB/s
不支持LTO 4和LTO 5磁带

如果觉得我的文章对您有用,请点赞。您的支持将鼓励我继续创作!

3

添加新评论4 条评论

jollyjackjollyjack销售管理quantum
2019-02-20 09:41
深入浅出,非常好的文章,学习了
sugosugo系统运维工程师上海浦东中软科技发展有限公司
2018-05-24 06:53
学习了,偏重介绍18m的产品啊
cppcccppcc其它开心就好
2018-05-23 18:02
介绍的很好
wuwenpinwuwenpin软件开发工程师南京
2018-05-23 16:11
还可以,学习了
Ctrl+Enter 发表

作者其他文章

相关文章

相关问题

相关资料

X社区推广