逐浪淘沙
作者逐浪淘沙2021-12-15 12:12
技术经理, jsrccb

全闪数据中心——构建数据中心绿色发展新格局

字数 4516阅读 2135评论 9赞 7

【摘要】

全闪存储在银行数据中心的推广和普及,推动了数据中心新的建设潮流,全闪数据中心的概念应运而生。本文从全闪数据中心产生的背景、全闪数据中心的特征以及带来的效益等几个方面进行阐述,最后再结合笔者所在银行在全闪数据中心方面的探索和实践,进行经验分享和总结。希望本文能给银行IT的同行们带来一点启发和参考。

一、前言

数字经济时代,数据成为当之无愧的关键生产要素。产业数字化规模已经占到国家GDP 30%以上,成为拉动国家和企业经济增长的新引擎。预计到2025年,需要保存的数据将增长到180 ZB,数据洪流的到来进一步驱动数据价值链的成熟,也让更多谋求数字化深度转型的企业进行决策和创新。

作为国家经济命脉的银行在数字经济时代又是凭借哪些“杀手锏”顺应了当下智能时代发展的需求,引领数据中心建设新潮流?

二、未来银行的新业态

传统银行依托着网点、ATM等终端开展业务,但在移动互联网时代,客户对金融业务体验要求更高,线上与线下的界面也日益模糊,传统银行逐渐丧失了基于网点的竞争优势。

银行业的增长驱动也从过去的核心商业客户体系,扩展到全量客户体系与科技巨头的生态竞争中,银行业的结构将被重塑,即银行新业态。

银行新业态是金融业务数字化转型背景下,数字化、智能化技术与金融业务场景的深度融合、演进、应用与落地,是通过科技赋能金融机构进而改善客户服务质效、重构增长路径。

银行新业态的核心特征包括移动支付高速发展,业务敏捷以及全场景的金融服务,其中金融科技从中后台走向银行的前台和核心领域,O2O(线上到线下)平台成为银行经营的主要形态,科技成为银行经营的前台。例如以往企业的水费、电费、税收、员工社保等信息对金融机构很难获得或验证,这也是金融机构与企业之间信息不对称的典型体现。而大数据时代意味着这类数据可以轻松被金融机构感知,从而实现动产或不动产融资,为金融机构挖掘新客户、开拓新产品,也为企业开辟融资新渠道。

在银行新业态下,科技已由原来银行业务支撑辅助工具转变为生产工具,由原为金融业务保驾护航的“后卫”转变成为金融机构开疆拓土的“前锋”,银行数据也已成为银行新的生产要素。

三、银行新业态下的新型金融数据中心应该往全闪存建设方面演进

银行新业态将对银行科技创新,尤其是在驱动科技创新的数据基础设施方面,包括数据中心架构、设备和运维等方面,提出更高诉求。数据中心作为数据的载体,承担着数据资源集中存储、计算、交换的功能,转型升级迫在眉睫。

为此,2021年7月4日,工业和信息化部印发了《新型数据中心发展三年行动计划(2021-2023年)》,计划用3年时间,基本形成布局合理、技术先进、绿色低碳、安全可靠的新型数据中心发展格局。这一发展格局将以支撑经济社会数字转型、智能升级、融合创新为导向,以 5G、工业互联网、云计算、人工智能等应用需求为牵引,汇聚多元数据资源,运用绿色低碳技术、提供高效算力服务、同时具备安全可靠能力、赋能千行百业应用。

与传统数据中心相比,新型数据中心具有高技术、高算力、高能效、高安全等特征,更加强调绿色低碳,包含了加强绿色数据中心建设、推动老旧基础设施升级转型、采用节能技术模式等具体任务。对此《新型数据中心发展三年行动计划(2021-2023年)》重点强调了对数据中心降低PUE要求的计划,即:“到2023年底,全国数据中心机架规模年均增速保持在20%左右,平均利用率力争提升到60%以上,新建大型及以上数据中心PUE降低到1.3以下,严寒和寒冷地区力争降低到1.25以下。“

那么,说到绿色节能的新型数据中心,就不能不提到产业各界热议的全闪存数据中心。

四、什么是全闪数据中心

在谈全闪数据中心之前,我们先谈谈全闪存存储的发展史。

对于过去十多年闪存存储产业的发展,可以总结为2010~2015年闪存1.0时代,2015~2020年闪存2.0时代,未来5年,将迈入闪存3.0时代。在闪存1.0时代,仅关注性能,主要通过高性能硬件实现,全闪存作为存储系统的加速层,软件特性非常缺乏,价格昂贵。在闪存2.0时代,闪存开始进入主存储系统,通过系统化设计,提供丰富企业特性,同时通过数据缩减技术不断降低闪存存储成本,全闪存进入快速发展期。

进入闪存3.0时代,全闪存凭借出色的性能优势和绿色节能已经成为市场刚需。在存储市场上,使用SSD的存储系统凭借高性能、节能环保的优势已经成为行业升级的主要发展方向。在性能方面,从IOPS、低延时、吞吐量三个常用的存储性能指标来看,闪存SSD在性能上远超机械硬盘HDD。SSD具有更高的IOPS,一个SSD的IOPS可达数万次之多,而一个HDD的IOPS只能达到几百次,这表明需要近百块HDD才能达到一个SSD的性能。同时SSD还具有低延迟性能和大吞吐量,给客户带来更好的体验。在能耗方面,在相同的容量下,SSD的电力能耗降低70%,空间占用节省50%,不仅能大幅降低数据中心的TCO总成本,并且能有效推进数据中心低碳运转。

全闪数据中心的第一个特征就是全闪存储在数据中心的全面普及,传统的HDD存储或者混闪全面被替代。全闪存将从之前只用于核心数据存储,比如银行核心系统、重要前置系统等,越来越多地走向全行业、全场景,包括核心系统、前置系统、各个外围业务系统、各类管理系统,升职超算、大数据场景也逐渐开始使用性能好、耗能低的全闪存存储。

全闪数据中心的第二个特征是由于全闪存储的普及带来了数据中心建设和维护成本的大幅降低。全闪存阵列充分利用了迄今为止硬盘无法与之抗衡的优势:密度。因为闪存是基于内存的,所以可以将更多的容量压入机架单元。一些集中聚焦于容量的全闪存阵列甚至可以在几个机架单元中提供PB级的容量。在数据中心的建设和维护成本方面,使用全闪存储带来的机房空间成本、电力成本、维护成本等各方面成本的收益相当丰厚。

全闪数据中心的第三个特征是数据保护的范围扩大。随着全闪存应用场景不断演进,数据全生命周期保护出现新的要求,包括保护等级的变化、保护对象的变化、保护性能的变化以及保护规模的变化。保护对象上,以前是结构化数据保护,现在需要同时保护结构化和非结构化数据。保护性能上,灾备的冷数据需要能变成温热数据,发挥数据的价值。保护规模上,数据从PB级增长到EB级。

五、全闪存数据中心建设对于银行的三大收益

1、绿色节能

全场景闪存化是指多类型的数据负载均应通过闪存存储进行业务加速,除了银行核心的全闪化替代之外,各种外围系统、管理类系统、包括灾备系统也应加大闪存配比,让灾备数据快取快用,实现存储容灾的常态化和备份存储的生产化能力。

相对于传统的HDD盘存储,全闪数据中心配置相同容量的全闪存储,SSD的电力能耗降低70%,空间占用节省50%,大大降低了耗电量和碳排放量,真正做到了绿色节能。

2、业务响应更快,用户体检更流畅

如今银行业务的发展的重心逐渐从传统的柜面、ATM、网银等方面向手机银行、快捷支付(微信、支付宝绑定银行卡进行支付)、商户收单等类型的业务转移。这些业务的特点是并发数高,并且需要端到端响应时间短,能实现在高峰期用户并发数陡增的情况下仍然保持流程的交易体验。

全闪数据中心的建设很大程度地满足了如今这些银行业务的需求。如今主流的全闪阵列IOPS均已达到百万级别,平均IO时延从以前的几毫秒降低至低至0.05ms左右。同时又由于数据中心全闪阵列在交易系统各个环节的普及,端到端的时延降低相互叠加,用户体验大幅提升。

3、推动数据中心网络变革

全场数据中心的建设极大提升了存储端的数据处理和传输性能,降低了银行业务系统的端到端相应时间,提升了银行用户的快速和流畅的体验感。随着全闪存储逐步全面基于NVMe协议设计, CPU可以直接与存储介质通信。NVMe协议交互的低时延和高带宽能力最大化释放了SSD介质的能力,而数据中心各个服务器到存储之间的网络传输能力也逐渐成为数据传输性能进一步提升的瓶颈。

在这样的背景下,数据中心的网络改革已经兴起。NoF(NVMe over Fabric)存储网络应运而生,即通过使用IP网络对存储专用网络的创新性革新,实现了更快吞吐带宽和更低时延,同时也兼具IP易管理优势,是更好地实现端到端NVMe存储网络的最佳方案。目前已经有包括中国银行在内的部分银行进行了创新性实践,在未来几年势必会成为各家银行数据中心探索和发展的趋势和目标。

六、实践经验和总结

这几年,尤其是2020-2021这两年期间,国内各大银行数据中心纷纷转型,在数据存储方面,经过这两年的行业趋势和实践经验,高端全闪存储已经成为银行数据中心采购存储时的默认选择,不同的是在品牌、型号和容灾等功能上的比较和筛选。

笔者所在的银行也从2019年开始采购全闪高端存储使用,并在2020年采购三台高端国产全闪闪存搭建了本地双活+同城复制的3DC架构,作为我们未来重要业务发展的主要存储设施。下面简单分享一下在这几年的使用和维护过程中,我们的一点切身的经验和体会。

第一,全闪存储的最明显优点节省空间。这得益于闪存盘单位储存数据容量显著增大,同样容量所需硬盘数量大大减少,同时现在的全闪存储均采用高密度硬盘框,单位空间内硬盘数量也大幅提升。我们所使用的国产高端全闪存储单台满配3.84TB闪存盘,容量可达几个PB,几乎可以替换我们原有所有HHD硬盘的存储。当然出于风险分散的原则,一般不会把所有数据存储于一台存储上,但是一台高端全闪替换多台传统老旧存储已经成为可能,目前我行正逐步将原有老旧存储的数据迁移到新购闪存存储后下线。

第二,存储系统处理性能得极大提高。全闪存储基于SSD芯片的高速处理,同时基于NVMe SSD的硬盘在存储系统内部传输路径更短。效率更高,延迟更少。我行电子票据数据库从原有HDD存储迁移到全闪存储后,在数据库的IO读写性能上大概提升了5倍。

第三,存储安全性提高。SSD盘生命初期均衡磨损,延长使用寿命。根据行业数据,硬盘的5年返还率方面,HDD大概是13.4%,SSD降低到0.8%。我行2019年开始使用的全闪存储目前尚未出现坏盘。

第四,绿色节能。使用全闪存储的绿色节能主要体现在由于单台存储的容量和处理能力大幅提高,数据中心所需使用的存储数量大幅降低,大大降低了耗电量和碳排放量。

第五,也是最重要的一点经验就是全闪存储的硬件特性和软件功能为银行数据中心的业务连续性建设带来了新的解决方案,在两地三中心容灾体系建设方面发挥了极大作用。以我行使用的基于某国产高端全闪存储搭建的本地双活加同城灾备复制的3DC高可用架构来说,架构搭建复杂度大大降低,消除了传统的存储网关这一瓶颈的存在。同时,灾备管理和切换技术手段更简便快捷,大大缩短了灾备切换的时间。

以上是我行数据中心在往全闪数据中心转变过程中的一点经验体会,当然离最终的全闪数据中心还有很长的路要走,但是这个趋势已经成为我们银行IT从业者的共同认知。我们也会为这一目前不断努力和奋斗。

综上所述,笔者认为建设具有全场景闪存化、全场景数据保护、全生命周期自动化运维管理和全IP数据中心网络四大能力的全闪数据中心,是银行数据中心未来的发展的终极之选。

如果觉得我的文章对您有用,请点赞。您的支持将鼓励我继续创作!

7

添加新评论9 条评论

JDLYyearJDLYyear容器云工程师, 暂无
2022-06-13 20:37
学习
Captain0798Captain0798系统工程师, 某银行
2022-01-25 22:52
全闪架构的优势确实是未来的趋势
lovenetworklovenetwork其它, 城商行
2022-01-25 17:11
第六部分经验总结非常到位。 第一,闪存盘比机械盘更节省空间。 第二,存储性能大幅度提高,对应提升了业务处理效率。 第三,闪存盘比机械盘拥有更长的使用寿命。 第四,绿色节能降低了耗电量和碳排放。 第五,创新途经,促进两地三中心灾备新方案。
落叶归根落叶归根信息技术经理, 123
2022-01-25 11:24
推荐读者阅读。推进数字化转型,驱动企业创新,创造数据价值。 ①笔者对“未来银行的新业态”进行了分析,银行新业态是金融业务数字化转型背景下;银行新业态的核心特征包括移动支付高速发展;银行数据也已成为银行新的生产要素。②对闪存的演进分析全面,方便读者有全貌了解。③文档最后的五点总结,说明了全闪数据中心的必要性。 建议:①第三章节,标题过于范范,下面的内容没有具体说明演进的过程。应与第四章节合并。②笔者文章标题“绿色发展新格局”太小不能涵盖全文,绿色只是一部分,“发展新格局”。
firelord823firelord823系统运维工程师, 贵阳银行
2022-01-25 10:57
在实践中前期其实并未重视数据中心的总体能耗问题,但是当机柜只用了一半,UPS的容量已经告急时,才发现能耗也是制约数据中心发展的重要因素之一。
lxk215313951lxk215313951系统架构师, 江西裕民银行
2022-01-24 16:30
随着互联网的普及,银行其实也面临着各种突发流量的压力,特别是对时延敏感的数据库,所以建设全闪数据中心在银行金融行业越来越普遍,笔者可以在NOF技术细节方面给予更多的解读!
wanggengwanggeng系统运维工程师, 某银行
2022-01-24 16:14
分析的很到位,受益匪浅,对未来全闪化趋势,的确是金融数据中心一大未来趋势。
DongxinDongxin系统架构师, 某银行股份有限公司
2022-01-24 14:26
构建全闪数据中心是银行的未来趋势,但是在转型过程中的确还有很长的路要走,毕竟现在我们银行传统核心存储都没有完成全闪化,感谢作者让我们肯定了未来的趋势。
guwenkuanguwenkuan系统架构师, 金融
2021-12-20 09:18
专业,有高度,受益匪浅!
Ctrl+Enter 发表

本文隶属于专栏

趋势观点
本专栏的文章全部来自国内外行业或领域一线最强实践专家的深刻洞察,他们的分享如同为正在摸索前进的更多同行和企业带来一盏明灯。他们的观点也为企业迎接趋势挑战、克服各种困难提供了最好争议的标的。希望有更多一线最强实践专家加入趋势观点栏目,你们是推动中国企业IT应用最值得尊敬的人。

处理器平台选型优先顺序调查

发表您的选型观点,参与即得50金币。

相关文章

相关问题

相关资料