虚幻世界
作者虚幻世界联盟成员·2022-12-15 14:43
管理信息系统总监·某大型银行

全栈自主可控,是数据库实现自立自强的必经之路

字数 3997阅读 2431评论 0赞 1

一、国际形式和国内政策都要求数据库实现全栈自主可控

从 2018 年 8 月以来, A 国已经将中国近百家公司列入“实体清单”,限制中国企业的正当发展, A 国对上游“卡脖子”的动作越来越多,其限制中国科技发展的范围也越来越扩大化。

从 2022 年俄乌战争爆发以来,以谷歌、苹果、微软、英特尔、戴尔、 Oracle 为首的 20 多家西方科技巨头相继对俄罗斯采取了制裁,这些巨头的制裁涉及到存储、计算、操作系统、数据库等基础设施领域和基础软件领域。

在对俄罗斯采取制裁的科技公司中, Oracle 的制裁最为致命。 Oracle 作为全球最大的数据库提供商,其大量应用于俄罗斯的金融、电信、电力等领域,数据库一旦被限制,基于数据库生长的上层应用(金融、制造、通信、交通等)都会受到致命打击,甚至直接瘫痪。

面对日趋复杂,对抗日趋激烈的国际形势,为了避免核心技术受制于人,信息技术应用创新发展已是目前的一项国家战略,也是当今形势下国家经济发展的新动能。《国家信息化发展战略纲要》、《“十三五”国家信息化规划》和《软件和信息技术服务业发展规划 (2016-2020 年 ) 》等,都是国家针对信息技术创新产业做出的规划,这些规划明确提出从 CPU 芯片、服务器、存储、交换机、路由器等 IT 基础设施,到数据库、操作系统、中间件等基础软件,都要实现自主可控。而“一行两会”更是明确要求金融领域在 2023 年要完成 50% 的数据库国产化替换。

在“ 20 大”报告中,也明确指出要“完善科技创新体系,坚持创新在我国现代化建设全局中的核心地位,健全新型举国体制,强化国家战略科技力量,提升国家创新体系整体效能,形成具有全球竞争力的开放创新生态。”,提出要加快实现高水平的科技自立自强。

二、数据库全栈自主可控的基础能力已经具备,但是仍然面临巨大挑战

数据库被称为基础软件皇冠上的明珠,在信息时代,数据是数字经济的宝贵资源,而所有的应用软件都要与数据库进行数据交互。

数据库作为基础软件中的核心部分,其往往要求极致性能、高可靠、高可用,而要达成这些要求,需要数据库和底层操作系统的调度配合,需要计算芯片的强大运算能力支撑,需要优秀的网络传输环境,需要超高 IOPS 和极致可靠的存储能力支撑。

数据库要实现全栈自主可控,必须从存储、网络、计算、操作系统、数据库出发,实现自底往上、自硬到软的自主可控。当前各个层级能够满足要求的厂商或产品如下图所示:

数据库的自主可控,要求的是从软件到硬件的全栈自主可控,任何一个环节被限制,都会导致数据库发展受限。当前各个环节都存在比较成熟的国产化方案,但是替代传统的“ IOE ”数据库体系,对全栈各个环节也提出了相应的要求。

存储

存储的自主可控,是需要去除传统的“ IOE ”体系中的 EMC 存储,而去“ E” ,高性能和高可靠是关键,传统 IOE 架构中对存储提出了相当多的可靠性要求,既要求高性能,又要稳定和可靠,还要能够支撑各种各样数据安全的复制。

当前国内也涌现出了一系列优秀的自研存储厂商,能够实现自主可控的代表性厂商如华为、浪潮、宏杉等。

在数据库场景的存储性能上,某厂商采用华为存储后,满足业务高峰期的海量用户并发请求,且无会话断开情况发生。

由此可见,国产存储厂商已经具备了替代 EMC 的能力。

网络

在网络这块, FC 网络垄断高性能块存储网络已近 30 年,光纤交换完全被国外厂商垄断( Brocade 和 Cisco );另外, FC 目前最大主流带宽 32G ,也满足不了当前和未来业务容量需求。因此采用 NVMe over Fabric 取代 FC 协议,是自主可控的必然发展趋势。而去 FC ,网络性能和可靠性是短板。使用 NoF 取代 FC 用于存储网络,虽然带来了存储成本和带宽的优势,但是也带来了如下问题:( 1 )网络性能方面,拥塞易丢包,特别是长距离传输丢包明显;( 2 )可靠性方面,主备切换在 8~15 秒,切换时间久;( 3 )易用性方面,存储部署复杂,需要进行手工配置。

当前国内在 NoF 协议走的比较前面的厂商主要是华为、浪潮、新华三等。

国内某大型银行采用华为解决方案替代原有网络方案,在跨 DC 双活生产系统中,存储性能提升 85% ,时延最大降低了 82% ,端到端故障切换在 1 秒以内,真正的实现了秒级切换。

计算&操作系统

计算和操作系统往往是共生关系,这块的自主可控,是需要去除传统的“ IOE ”体系中的 IBM 小型机,而去“ I” ,高性能和高可用是核心。在操作系统上,可以使用基于 Linux 的国产操作系统,搭配 ARM 架构服务器。使用该组合替代 IBM 的小型机,需要具备如下能力:( 1 )在处理能力上需要达到或超越当前各个领域使用的小型机;( 2 )在高可用能力上需要达到或超越当前各个领域使用的小型机。基于 ARM 架构的 CPU ,当前国内有鲲鹏、飞腾等,基于 Linux 的国产操作系统有 EulerOS 、 OpenEuler 、中标麒麟、银河麒麟等。

数据库

数据库的自主可控,主要是去除传统“ IOE ”体系中的 Oracle 数据库,而去“ O” ,大量数据下的并发性能和可靠性是痛点。 Oracle 在大量数据 OLTP 处理上优势明显,去“ O” 往往需要分库分表以追平 Oracle 的处理能力,但是会带来如下问题:( 1 )多表关联、查询性能差;( 2 ) 可靠性低,网络抖动或磁盘亚健康难监控,影响系统稳定性;( 3 )资源利用率低,资源闲置。当前国产数据库也是百花齐放,如 GaussDB 、 openGauss 、达梦、人大金仓等。

基于 openGauss 的海量数据库 Vastbase ,在 openGauss 原有的极致性能基础上,增加了大量的 Oracle 兼容特性,并结合国产鲲鹏服务器的性能优势,在双路鲲鹏服务器上,可以达到 164 万的 TPMC ,在四路鲲鹏服务器上,可以的达到 260 万 TPMC ;同时, Vastbase 具备金融级高可用,可以做到 RPO=0 , RTO<10s ,主备自动切换。 Vastbase 从数据库层面能够解决“去 O ”的难题。

另外,传统的数据库基本都是采用物理机部署,存在如下问题:

• 设备更换、扩容复杂,更换设备或扩容需要搬迁数据库,主机停服时间长,做不到真正弹性扩容,扩容困难;

• 主机意外故障,恢复复杂,性能影响大,恢复时间长;

• 和物理机绑定,云化改造困难。

而采用虚拟化部署数据库,能够带来快速部署、高扩展性、高可用性、可迁移性、易运维性和资源隔离等优点,但是客户往往担心虚拟化对数据库的性能会造出较大的影响。因此解决虚拟化场景下,数据库的性能损耗问题,也是数据库云化演进的关键研究方向。

数据库要实现全栈自主可控,就需要解决上述各个层级存在的问题,才能在从“ IOE ”体系切换到自主可控体系,并保证切换之后性能不下降,业务不受损。

三、全栈自主可控数据库架构畅想

针对自主可控的探索,当前业界大多选择单一方向入手,缺少端到端软硬全栈的解决方案。基于数据库的全栈自主可控述求,需要从软硬出发,设计了一个能够满足政企、金融业务需求的端到端高性能虚拟化数据库解决方案。

该方案架构类似下图所示:

全栈数据库解决方案,如果要实现高性能,仅仅将各个环节的软硬件进行简单的堆叠,是无法充分利用各个软硬件的优势的,因此必须进行端到端的优化,从而使得该解决方案具备高性能、高可靠、易运维的特点。

同时,为了部署简单、扩容灵活,全栈数据库解决方案需要能够支持一柜部署,同时支持计算、存储、网络独立升级扩容,多柜组合即可提供两地三中心灾备保护,从而满足政企、金融对数据库的高性能、高可用、易运维的述求。

高性能:采用虚拟化部署数据库,需要拥有媲美裸机的高性能

由于使用虚拟化部署数据库,需要从计算、网络、存储端到端的进行软硬件深度协同优化,才有可能让虚拟机部署接近物理机部署的性能,如果虚拟机部署和物理机部署的性能差距控制在 10% 以内,则虚拟化带来的高可用就足以弥补其带来的性能损耗了。

高可用:采用虚拟化部署数据库,需要带来优于裸机的高可用保护

虚拟化部署数据库,能够在具备物理机部署的高可靠能力的同时,带来优于物理机部署的高可用能力。

在该方案中,采用虚拟化集群拉远到两个数据中心的部署方式,并在单数据中心内部提供 HA 预留资源,为数据库提供高可用保护。

虚拟化 HA :当数据中心内的主机故障,导致虚拟机异常时,虚拟化 HA 能力会将故障虚拟机恢复到正常主机;当整个数据中心不可用时,虚拟化 HA 也可以将故障数据中心的虚拟机恢复到同城容灾中心。

虚拟化热迁移:当需要进行设备升级或者设备冷补丁操作时,可以有计划的将运行中的主机迁移到其他主机上,而业务无需中断,从而提供更高的可用性。

虚拟化快照:用户主动触发磁盘快照做数据备份,支持在线快照。基于 ROW 快照,快照不会引起原卷性能下降。支持秒级卷恢复,一致性快照保证数据恢复的可靠性。

易运维:采用虚拟化部署数据库,能够带来高于裸机部署的资源发放速度,运维难度降低

虚拟化部署数据库需要支持 E2E 资源一键发放,计算、存储、网络资源 One UI One Step 极简发放。资源发放速度实现远远高于裸机资源发放速度。

同时需要提供主动式运维能力,保证故障提前预知,容量性能瓶颈提前预知,问题一键闭环。问题定位速度和解决速度都要远远高于裸机。

全栈自主可控数据库解决方案,不仅要实现了存储、网络、计算等硬件基础设施的自主可控,也要实现了操作系统、数据库、虚拟化等基础软件的自主可控,需要解决政企、金融面临的“卡脖子”风险,提供一个满足政企、金融信创诉求的高性能、高可用、易运维的数据库解决方案。

如果觉得我的文章对您有用,请点赞。您的支持将鼓励我继续创作!

1

添加新评论0 条评论

Ctrl+Enter 发表

作者其他文章

相关文章

相关问题

相关资料

X社区推广