华为存储CLUB
作者华为存储CLUB2022-05-06 09:52
CLUB专员, 华为存储用户俱乐部

云环境下,如何基于稳态、敏态应用进行存储服务整体规划分享探讨——4月华为存储MVP赋能活动邀您回顾

字数 4500阅读 409评论 0赞 2

近年来,随着银行业数字化转型不断加速和金融科技的蓬勃发展,银行业积极探索尝试金融科技创新应用。在新的业态下,基于互联网产品的快速投放需求和交易流量大幅攀升,传统的IT投入和研发方式已显得难以应对,互联网金融产品灵活多变的特性对金融科技的支撑能力提出了更高的要求和挑战,“数字化转型”、“金融科技创新”已成新金融时代的关键词。

自2014年7月Gartner提出对应稳态和敏态业务的双模IT概念,国内众多厂商和银行业积极开展了诸多行业实践,稳态、敏态业务,一个维稳一个图新,双轨的IT架构共同推动企业业务的快速发展。特别是2019年8月,人民银行科技司发布了《金融科技(FinTech)发展规划(2019-2021年)》,指出要合理布局云计算,构建集中式与分布式协调发展的信息基础设施架构,为银行金融科技建设指明了方向。

4月23日,基于twt社区的华为存储用户俱乐部组织主题为 “云环境下,如何基于稳态、敏态应用进行存储服务整体规划分享探讨”的华为存储MVP赋能活动,邀请华为存储MVP及候选人共同探讨云数据中心转型的挑战下如何区分业务进行存储整体规划设计。
社区根据用户专家、MVP、潜在MVP的反馈,甄选了在该主题方向下的核心议题:

议题一: 如何分析在云环境下敏态和稳态业务的存储服务特性并选择适合的存储架构?

议题二: 如何统筹规划在云环境下不同业务负载对存储服务的使用?

本次活动邀请某农信资深技术经理昼者担任本次赋能活动的主持人,某大型银行系统架构师彭毅担任用户分享专家,华为集中式存储组合产品管理专家郭洋担任本次活动的分享嘉宾。针对双态业务需求下云平台存储建设的实践经验与难点挑战,参会用户积极发表了自己的见解与看法。

此次活动共有37位华为存储用户俱乐部MVP与潜在MVP参与,其中银行用户31位,占比为83.78%,其余用户来自于保险、证券、制造等行业。

在用户专家分享环节, 彭毅老师分享了《云环境下基于双态应用的存储服务整体规划》,介绍了本行在云环境下基于双态应用的存储服务整体规划实践,从技术架构、服务架构、存储架构和容灾架构等多个方面,全面介绍了业界大行对云环境下技术发展的整体思路和实践。特别是针对银行不同业务场景下,数据存储所面临的差异化挑战和需求,不仅给出了独特方案,还展现了令人信服的实践数据,为同业提供了有价值的参考。

华为专家分享环节, 郭洋老师分享了名为《拨云见日,求真务实 从需求变化与业内实践,看云内存储选型》的精彩内容,首先以块/文件/对象存储的不同特性与演进,展现了存储发展的过往今生,以市场需求为导向的大道至简。其次,聚焦于金融业务对存储需求本质,详细介绍块/文件存储对应的不同业务场景,全面揭示业务场景衍生多样化存储,不同类型存储助力多样化业务。最终针对于企业当前业务上云的需求,从性能、时延、网络、容灾等多个视角对比企业存储与分布式存储,点明云平台存储架构规划设计回归业务需求本质,理性决定选型。

互动交流环节中, 参会用户通过文字或语音的方式积极提出了自己在云平台存储建设中的痛难点问题,与会的专家老师也都相应给出了设身处地的技术解答。精彩问答节选如下:


某城商行用户提问: 结合技术和经济等整体因素,城商行应该如何有效构建云环境下敏态和稳态的存储架构体系?

用户专家 彭毅 回复:

我行目前在敏态环境下,主要也是发展一些分布式的NAS存储,还有一些对象存储。这种业务发展其实很不可控的,它不在我们的掌控之内,发展得非常快,在这种情况下,不仅要从技术上考虑,可能还要从另外一些方面,比如说采购方面一起考虑。通常来说行内的商务采购周期一般都比较长,但存储需求增长非常快,可以从商务采购模式上进行一些变化,如通过框架集采的方式,尽量弥补存储容量的快速增长需求。对于容量的一个控制监控我觉得确实非常必不可少的。

华为专家 武装 回复:

1、云外的稳态业务已经比较清晰,以经典的IOE体系为准,重点是信创的考量,而引起更多争论的是云内的存储如何选择

1)需要提前考虑敏态业务的块存储规模和需求是什么?到底扩展性有多大?结构化数据,有没有实际扩展性诉求?选型的本质是面向需求,基于厂商能力的适配性选择;要朝向真实的业务诉求,业务负载,业务规模,而不是个别风向或者所谓的‘趋势’。

2)就目前很多大行的云,Region代表数据中心或者较大的一块独立业务,而Region内部是按照AZ来建设每个IaaS单元的,包含相应的计算资源,多为100~150服务器,网络资源和块存储资源。

①块存储都被分割到各个AZ之内,国内金融行业不存在跨AZ的块存储;而AZ内块存储的规模都是固定的,一个AZ常规只有几百TB。然后IaaS层以AZ的规模进行扩展,而每个AZ的大小最初都规定好了,中间也不存在扩容场景 ,从成本角度看,分布式块的三副本,还是明显提高了客户的采购成本的。我们交流过很多银行的客户,在分布式块上,都是三副本部署方式,并不经济高效。而在这个几百TB的规模上,企业存储无论是性能、时延、采购成本,自身可靠性,成熟度,灾备体系完整度上,优势极为明显。主要承载之前云外的虚拟机承载的相关业务。

②NAS存储和对象存储,多为整个Region内部,所有AZ可以共享的资源部署;其中NAS存储主要是业务共享性需求,近一段大量用于容器类业务对接,以确保容器类应用可以在不同AZ的计算资源体系上拉起。而对象多用于备份、归档资源池,长期存放数据。

3)从华为存储的调研和实践经验上,尊重客户的历史选择,但是,更尊重实际客观的真实需求。分布式化是业务分布式,而并不是存储分布式,块存储明显不适合分布式;不是为了分布式而分布式,而是采用以满足需求的最成熟最优成本的方式进行考量;互联网的大规模并不存在于当今的金融行业或者银行业,而块存储这个范畴就更是延续了传统业务的路线。

通用的存储架构体系:企业存储:高可靠硬件+企业存储软件的耦合性设计,优势在于小IO,小文件的高性能时延访问,灾备方案成熟,产品能力成熟,久经考验;分布式存储(SDS 软件定义存储):软件+通用硬件,适用于大IO,大对象的读写访问,大规模的扩展,通过标准硬件的独立采购来降低客户采购成本;

主持人 昼者 回复:

对于中小型金融机构来说,跟大行的很多的商务采购方式、技术人员数量、业务需求场景都有一定差距,我们还是要务实一些。

我行19年同城双活中心建设时,在核心存储规划选型时有几个方面的经验:

一是一定要做好整体的容量业务容量的整体的预测和相关一些规划。虽然是敏捷场景,按照现在中小型银行整体的业务的类型情况来看的话,敏捷业务相对较少,刚刚处于起步阶段。很多国有和股份大行的纯敏态业务虽然发展比较快,也比较成熟,但与互联网企业相比还是有很大差距。因此,从现阶段来说,虽然是敏态业务,但是它的增长率比在短期内难以成指数倍数的增长。因此,在敏态业务存储需求的规划上,也可以设定比较合理的这种存储容量增长的这种需求。

二是做好存储容量的监控。在当前的行业情况下,业务发展、应用系统与基础架构之间的信息不对称比较严重。例如在业务发展层面,今年可能重点推广,发卡量暴增300万张,而业务和应用人员可能都没有预估发卡量的增长所带来的系统压力,如交易明细数据的快速增长和存储扩容的激增需求,导致存储管理人员措手不及。

三是在存储规划选型时,选用高端低配的存储产品。尽量选用高端存储产品型号,配置可以稍微略低一些,配置主要指的是存储容量容量的这种配置。一方面它的技术迭代的周期会更长,那么我们自身的维护人员的压力就会更小。另一方面,因为从我们中小型银行机构来说,我们很难采取集采式或者一次性采购几年的空间需求,一般来说还是以项目为导向。

因此,我们在选型时可以采用高端低配的策略,配合日常良好的容量监控,以年为单位或以项目为导向进行采购来实现灵活扩容,如此基本上可以满足中小型银行的对于存储容量的需求。


某城商行用户提问: 针对PaaS平台下MySQL、Redis进行数据持久化选择哪种架构的存储的比较合适?

华为专家 郭洋 回复:

1、从现网的使用经验调研来看,MySQL的对接方式是多种多样的,企业存储,企业NAS,本地盘、分布式块存储,都有不同客户进行选择。

1)早期主要是对接企业存储,在数据库技术本身相较于Oracle不够成熟的情况下,客户更希望利用企业存储的成熟来确保数据的安全性与可靠性,后续,随着MySQL的不断成熟,以及MySQL主要承担的是一些非关键的数据库,逐步出现了本地盘的部署模式。

2)目前主流配置方案是本地盘和企业存储,从性能出发块存储适用端到端NVMe技术,前端适用NOF,后端使用SSD盘,性能可以和本地盘相当。但是使用本地盘至少3副本,使用块存储可以降低副本,存储提供高可靠,低成本,而且可以利用块存储本身诸多特性,以及存储的容灾技术。解决同城半同步退化的问题

2、Redis、Kafka等中间件看客户使用的规模和可靠性诉求,集群化部署又是重要业务,建议使用NAS存储,便于容器化后在不同计算资源上拉起,以及跨多服务器的共享

更多精彩问答回顾,请扫描下方二维码:


本次活动中,两位嘉宾从云环境下,双态业务特性、存储需求差异、业界成熟方案、大行实践情况及现实痛点问题等方面的探索实践都进行了精彩的专业分享,同时与会专家围绕两个主题进行了有意义的建设性探讨,针对“云环境下,如何基于稳态、敏态应用进行存储服务整体规划? ”形成了诸多重要的共识, 主持人昼者老师将这些共识概括总结为“双态、四景、三法和六效”:

双态: 即业务系统特征的稳态、敏态。

四景: 即银行业常见的存储差异化需求场景。联机交易、多态共享、非结构化、超级扩展。

三法: 行业领先存储厂商根据银行业上述四个存储差异化需求场景,针对性设计的解决方案即企业块存储、企业NAS、分布式对象存储。行业存储专家们根据行内实际情况,结合成熟的三个解决方案和方法,规划云环境下的整体存储架构。

六效: 云环境下的存储架构规划需要实现六个效果,即性能提升、功能稳定、灵活拓展、管理便捷、绿色节能、节省空间。

活动最后,活动主持人昼者老师对现场参会用户表示感谢的同时,也对未来云环境下针对业务特性规划存储建设表达了观点:

东风何时至,已绿湖上山。当前,数字化转型作为国家战略,已成为全行业的基本共识。双态双模IT架构经过多年实践愈发成熟,云环境下如何针对业务特性规划设计数据存储方式变得更加重要。随着全闪存的普及,领先存储厂商基于银行业各大数据存储需求场景沉淀了针对性的解决方案,我们更应该以求真务实的理念,规划和设计符合银行现状的数据存储架构,赋能业务发展,发挥数据效能、凸显科技价值。

欢迎更多关注存储行业趋势应用的IT技术精英们加入华为存储用户俱乐部,与同行并肩,共同交流探讨。也期待涌现更多的华为存储MVP,在俱乐部的思想碰撞中成长为行业技术各领域的先锋引领者。

了解更多华为存储用户俱乐部活动,请识别以下二维码:

如果觉得我的文章对您有用,请点赞。您的支持将鼓励我继续创作!

2

添加新评论0 条评论

Ctrl+Enter 发表

本文隶属于专栏

活动总结
活动总结是社区交流活动内容的总结及延伸,为大家提供了社区专家们丰富且高水平的理论知识、实践经验以及常见问题的最佳解决方法,非常值得大家收藏学习。

NAS存储选型优先顺序调研

发表您的选型观点,参与即得50金币。