mxin辛旻
作者mxin辛旻2017-10-31 13:29
资深工程师, 上海宝信软件股份有限公司

金融行业闪存应用与价值剖析

字数 4123阅读 4331评论 0赞 2

– 金融行业闪存应用与价值剖析
辛 旻 周雄伟
摘要:-本文从存储系统10年发展情况的对比分析入手,结合-日常使用和运维管理的实践经验-,深入浅出但又较为系统地论述了闪存给金融业存储带来的价值,并对闪存技术在金融业运用的具体场景与优势进行了重点剖析。以期对金融业IT管理人员和存储管理工程师了解和深入掌握闪存技术提供一定大帮助。
关键词: 闪存;云计算;金融业存储;SPC
0 引言
业界最近一直存在这样一个观点:在近15年中,每核CPU的性能都比之前的每核CPU的性能快了10倍,其内存速度也提升了10倍,数据总线速度增长了20倍,网络速度更是提升了100倍,而磁盘性能却仅仅增长了1.2倍;是唯一违反摩尔定律的部分,是目前IT系统基础部分发展的瓶颈,特别在大数据、云计算、物联网、移动计算等IT科技风起云涌的今天,金融业存储技术的发展已经严重滞后。事实果真如此吗?下面让笔者来逐一剖析。
1 金融行业存储应用分析
1.1 SPC-1基准测试介绍[1]
SPC——存储性能理事会(storage performance council),是一家非营利组织,其主要使命为定义存储系统基准测试,实现其标准化并进行推广,为计算机行业和客户提供客观、可验证的性能数据。
目前熟知IBM、HP、NetApp、以及华为公司等存储业内的巨头都加入了SPC,并且努力提升自身产品以获得更高的SPC标准评分。
由于在衡量SAN、DAS这些块存储设备时,除了高性能计算、视频采集/编辑等少部分应用比较在意带宽(Mb/s)之外,业界绝大多数的金融业数据中心环境里更看中的还是随机访问IOPS性能、响应时间等关键指标,比如大家熟知的Oracle、DB2、SQL Server这些传统关系型数据库,也包括Exchange Server、Lotus邮件服务器等。至少在目前,还是包括所有主流存储厂商(其实也可以包括EMC公司,如EMC公司并购的闪存厂商XIO之前也参与SPC的测试)公认的测试标准。而正是由于SPC-1测试标准(这个10年前已经存在的测试标准),我们才能比较客观地对比存储技术10年来的发展历程。
1.2 金融业存储SPC-1基准测试对比分析
2002年底IBM公司高端存储以ESS800为代表,中低端以FastT(DS4000)为代表,存储磁盘以18.4 GB容量为主流。图1所示为2002年256块磁盘的ESS800的SPC-1测试结果;

                      (a) 测试结果概览

响应时间/ms 每秒的IO请求数
(b)IOPS曲线图

                       (c)Throughput

以下图2所示为2012年DS8870的SPC-1测试结果。

(a) 测试结果概览

响应时间/ms 每秒的IO请求数
(b)IOPS曲线图

(c)Throughput测试表
. 通过对跨度10年的存储性能数据的对比分析,见下表1。
表1 DS8700和ES800的对比
时间/年 型号 磁盘数 IOPS 95%响应时间/ms 5ms内的IOPS 数据保护 容量/GB
2002 ESS800 256 22 999 >10() 11 500 RAID5 3 207
2012 DS8870 1536 451 082 <5 428 462 Mirror 56 232
提升比率/% 600 1 961 200 3 726 1 751

数据表明,10年来,存储技术对磁盘数量的管理能力提升了6倍以上,对IOPS性能提升了20倍,如果算上5 ms之内的响应时间,IOPS其实提升了37倍;也就是说,10年来存储技术的进步似乎也不是那么慢。

1.2 金融行业存储应用的特征

 具体到金融行业,由于关系国计民生,社会影响巨大,对计算机基础环境的要求也非常严格。金融行业存储应用在充分评估应用风险的前提下,在高可用、稳定性、性能、并发能力、可管理能力与易用性等方面均走在应用的前列。
 一方面,金融行业应用架构庞大,运维管理相对规范,应用系统分级分类管理机制比较健全,各类新存储产品、新技术能够在一些应用环境或测试环境中先行先试,以积累最佳实践经验,为后续重要生产环境的更新换代打基础。
 另一方面,经过检验的成熟产品和技术在金融行业容易得到广泛的应用,并且会迅速普及到友商,具有很强的扩散效应特征。

1.3 当前金融行业存储应用的挑战

 当前IT技术与应用需求已经驶入了飞速发展的快车道,大数据、云计算、物联网、移动互联。。。新技术硕果累累,深刻的改变了人类的生活,每时每刻都有海量的数据产生。同时,企业也深刻的认识到数据的价值,产生了海量的数据存储,数据检索,数据分析计算需求,存储技术发展速度越来越难以满足数据的增长和人们对新应用的需求。

金融行业本身数据的飞速增长引发的大数据时代的来临,也因实施云计算、虚拟化带来的存储IO需求成数十倍、百倍的集中和增长。 一方面谷歌、亚马逊等互联网公司采用分布式存储云来应对,另一方面主流存储厂商也开始寻找各种能像当年磁盘淘汰磁带一样的突破性技术。
同时,行业本身的变革也需要突破性的技术来构建基础IT环境,以支持业务的迅猛发展。以证券行业为为例,2014年底启动的天量行情,催生了全市场2.5万亿交易量,券商证券交易系统的处理能力要求比以往提升了3~5倍以上,对作为基础技术硬件支撑的存储系统也提出了严峻的挑战,具有更大的并发能力、更高的吞吐量、更低的响应时延的需求。

2 闪存存储的显著优势

下表是SPC-1测试比对结果,由于近3年的SPC-1,目前的主流存储厂商IBM和EMC都未参加,所以此表仅用来证明传统磁盘和闪存的对比。

SPC-1的测试结果对比
时间 型号 磁盘数 IOPS 95%响应时间/ms 5 ms内的IOPS 数据保护 容量/
GB
2012 IBM公司 SVC 1 920 520 043 <7 416 002 Mirror 97 581
2012 HDS公司 VSP 24 602 019 <1 602 019 Mirror 11 610

通过上述对比,我们不难分析出闪存技术在存储领域的显著优势。
(1)性能优势。在相同空间、能耗的情况下,闪存技术将提供成10倍以上的IOPS,而响应时间也比之前下降了80%。
(2)节能环保优势。同样IOPS的要求下,闪存技术可以成10倍的节省占地空间和能耗。 这样的结果和当年磁盘与磁带的对比何其相似,和最近几年物理带库与虚拟带库的竞争如出一辙。
而如果再追根溯源,参考闪存的实现原理,也就知道SDD盘的核心是电子的,HDD硬盘核心是机械的,这样的对比结果也就自然在意料之中;因此闪存技术从长远来看,也就成了大家给予厚望的超越FC、SAS、SATA等传统磁盘技术的创新一代存储技术。
3 金融行业闪存存储应用价值
3.1 金融业存储真实价值剖析

拨开各大厂商宣传的层层七彩迷雾,让我们力图展现一个更真实的闪存技术现状。

先看看目前业界普遍宣传的解决方案一览表(见表3),其中存在问题为笔者分析的。

表3 业界解决方案一览表
产品分类 使用场景 典型应用 存在问题
混合阵列 大数据
偏斜的IO模式
高性价比 数据仓库
OLTP
邮件 性能提升有限,受限软件处理热点数据的能力
全闪存阵列 消重数据
随机IO
性能极为敏感 OLTP
交易系统
桌面虚拟化
服务器虚拟化
数据库 测试/开发
决策支持 成本较高,但金融业的核心交易已经能够承受
服务器闪存Cache 性能高
偏斜的I/O模式
读密集 OLTP
邮件
数据库 共享和高可用性;服务器故障时无法故障转移,业务恢复受限于修复时间
服务器本地存储 极高的性能
高IO负载
低延时工作负载 高性能计算
交易类应用程序
Web2.0
分析 共享和高可用性;特别是服务器故障时无法故障转移,业务恢复受限于修复时间

除了表3所罗列的各个场景存在的问题,采用闪存技术的金融业存储还有以下明显优势:

虽然2015年全闪存存储成本看起来依然较高,起步约50万人民币,约10万1T,比起SAS为主的2万1T似乎高了不少,但是相同性能,120块的SAS盘的中端存储,也需要约100万,而IOPS也相当于12块闪存存储;而这些容量,其实对于金融业的核心交易系统,毫无意义,可空间却需要10倍,耗电10倍,TCO的成本更高。

3.2 闪存应用场景
全闪存存储最佳的场景:
(1)环保要求高预算相对宽松的行业;
(2)基本都是非高写入率的应用;
(3)IOPS性能改善可带来明显的业务能力提升。
不难发现,金融业里尤其是核心交易系统,非常吻合。下图是某金融机构已经部署的某核心业务系统架构方案,可以看到,闪存存储已经发挥了关键的支撑作用。

  4  展望      

目前金融行业已启动闪存存储部署的步伐,并将会加速继续存储闪存化的进程,并通过统一云存储集群平台实现内部整合与部署优化,以IBM即将推出的V9000为例,首先,4节点以上的SVC集群很好的实现了一直以来困扰金融业的vsphere,windows,linux平台本地存储高可用性的问题,并可轻松实现同城双活数据中心;其次,6TB的近线SAS和F900的少量闪存组成的EasyTier池完全覆盖除核心交易系统之外的需求;此外,2台F900的直连AIX+LVM mirror完全满足核心交易系统和清算业务的高可用与业务连续性要求。

参考文献:
[1] 王纪奎. 成就存储专家之路——存储从入门到精通[M].北京:清华大学出版社,2009.

如果觉得我的文章对您有用,请点赞。您的支持将鼓励我继续创作!

2

添加新评论0 条评论

Ctrl+Enter 发表

本文隶属于专栏

AIX运维专栏
专注于AIX系统运维,系统管理。

作者其他文章

相关文章

相关问题

相关资料

X社区推广