lisongqing
作者lisongqing联盟成员·2020-08-05 15:15
软件架构设计师·IPS

新常态下如何打造新核心数据库系统

字数 5093阅读 3608评论 0赞 0

新冠病毒疫情不仅影响了人们的生活,也阻滞了经济的发展。 WHO 组织指出,病毒将长期存在。因此,防疫日常化将成为“新常态”。为加速恢复经济活力,加速数字经济转型,大力发展 5G 、大数据中心、 AI 等 7 大产业,新基建将成为中国经济增长的新引擎,信息技术行业迎来发展良机。

那么,面对未来数字经济转型,释放新经济发展动力,企业究竟应该如何打造适应自身业务发展的新核心系统呢? 业界著述立论者甚众,其中不乏五花八门、花式翻新的各种概念。今天,我们从务实角度,分享一些关于新核心数据库系统建设的一点想法和建议。

# 1 核心系统,稳字当先

核心数据库系统是企业里最关键的 IT 引擎,容不得半点差错。比如,金融等服务型企业,核心系统是其运转的轴心,一旦发生故障,成百上千套为客户服务的外围系统 “ 触角 ” 将随即瘫痪;再如,现在制造都在往智造转型,每时每刻都依赖 IT 核心系统,如果意外停摆一分钟的损失都不可估量。

因此,建设新核心数据库系统, “ 稳 ” 是第一位的,构建 “ 新 ” 核心不是要推翻旧系统重新建,而是要立足当下再着眼未来。大多数核心系统在现有基础上通过改进、革新,就能适应新时代下市场变化需求,达到为客户持续提升服务品质的要求,同时稳定性、可靠性、性能各方面也能满足未来 5-10 年内业务发展的要求。如何改进、革新?不妨认真研究现有架构的瓶颈 / 局限是什么(比如:老服务器 CPU 算力不足、网络传输能力不足、存储 IOPS/ 吞吐能力不够,或者是一些软件模块设计落后需要优化)。研究清楚之后,往往就能找到改进的路线,这样通过平滑升级现有架构中软 / 硬件系统,既能达到未来 5-10 年业务发展要求,又可以维系现有核心系统的稳定性和可靠性,同时很好的保护既往投资,降低总体成本。

现在绝大多数企业核心系统是在服务器与存储上部署传统集中式商业数据库架构:

  • 全国性股份制商业银行核心数据库

    日交易量达数亿笔,可支撑数万 TPS

  • 各大券商核心交易数据库系统

    日交易量上亿笔,可支撑数十万 TPS

2 核心系统,云化路径

现在是不折不扣的云的时代,关于上云的说法可谓“众说纷纭”。云的本质是为企业提供简化 IT 开发测试和运维管理的高效服务。云从技术堆栈实现上分成几个层级:

  • 为客户提供管理网络、存储和服务器及虚拟化这些基础设施的是基础架构云 IaaS
  • 叠加操作系统、数据库和中间件服务的是平台云 PaaS
  • 基于容器化技术实现的平台云叫容器云 CaaS
  • 在此之上同时为客户提供上层应用服务的软件即服务云 SaaS 。

云计算经过十多年的发展,大家逐步形成了一个共识,企业一定要把自己的关键数据牢牢掌握在自己手里才最安全、最放心。近年来,规模大的公司、企业或机构都在不断扩大自己的数据中心规模,扩建私有云。同时,为公众提供标准化的公共服务型的外部系统,则通过与公有云进行对接,构建混合云模式。很多行业龙头企业也在积极建设行业云,如金融云、政务云、教育云等,为行业中小客户、机构提供定制化的云服务。

此外,运营商及一些专业 IT 服务公司基于电信业通信链路和带宽资源, 建立标准化 IDC 数据中心,为政府和中小企业提供服务器托管、租赁形态的 IaaS 基础架构云服务及部分 PaaS 平台云服务。

核心数据库系统要用于存放客户关键数据,承接所有客户关键交易功能,最佳选择是在自己的数据中心内建设私有云。对于中、小客户,独立自建数据中心成本昂贵,可以选择所属行业的可信行业云或者租赁托管云服务。

核心数据库系统的云化,则可以根据用户总量、并发规模和未来增长需求,灵活选用服务器部署形态(整机或逻辑分区或者微分区)。值得一提的是,经过用户多年实践证明,在几种相对成熟的服务器平台中,国产 K1 Power 服务器具有最先进的虚拟化技术,性能衰减最少,且至今保持 0 安全漏洞,不仅能保障核心系统的稳定、可靠和安全,同时也能提供绝佳的资源整合能力。

3 核心系统,中台基石

继云计算和大数据概念后,这几年“中台”概念也在 IT 界掀起了无数旋风,几乎所有人都在谈各种中台概念, 包括数据中台,业务中台, AI 中台,技术中台,组织中台等。 各大中小企业经过几年探索后渐趋冷静回归理性,中台并不能包治百病,中台的本质是实现技术、数据的共享和复用,在准备建设中台之前,首先须完成组织优化、企业数据治理和业务梳理,不然共享和复用就是一句空话,甚至可能为中台所累。中台是否需要建,应当如何建,业界已有很深入的讨论,也已发表了很多深度好文。这里我们讨论下核心系统在中台建设中应该充当什么角色:

  • 首先,核心数据库系统中存放的都是高价值的客户信息和真实的交易记录,这些数据与其它外围系统数据相比,数据准确度高,不需要再经过清洗提炼就能派上用场,核心系统能够为中台建设提供最具价值的基础数据;
  • 其次,核心数据库系统建设从最初深思熟虑确定技术方案,到长时间的系统开发测试、实施验证和生产实践,是最成熟最可靠的平台与方案,它可以成为中台建设的技术平台基石,以核心系统的技术和人力储备为基础进行中台建设,能够很好地实现技术和数据共享和复用的目的。

4 核心选型,综合权衡

新基建,聚焦七大产业领域,以技术创新为驱动,以信息网络为基础,寻求数字转型、智能升级、融合创新的全新发展动能。在此背景下,新核心数据库系统选型既是老话题,也是新课题。

在数据库领域,传统商业数据库依然是数据库业界追赶的标杆,依然是客户核心数据库的首选。同时国产数据库软件现在百花齐放:

  • 老牌的国产数据库,如:南大通用 Gbase ,达梦 DM 数据库、浪潮 K-DB 、人大金仓 KingBase 等,均获得了迅猛增长 ;
  • 一些为特定行业应用定制加强数据分析和加速交易处理的数据库,如:云和恩墨 zData, 科蓝软件 GOLDILOCKS 等,也在各自擅长领域赢得了不少客户订单;
  • 在新兴的国产分布式数据库,如:巨杉数据库 SequoiaDB 、 PingCAP TiDB 、腾讯 TDSQL 、中兴 GoldenDB 、亚信 AntDB 、丛云 OBase 、阿里 OceanBase 等在部分行业关键数据库领域获得了较大的突破。其中,阿里 OceanBase 凭借阿里云强大的云服务器集群和分布式数据库实力,二度刷新 TPC-C 榜单,达到了 7 亿 + ( 707351007 ) TPMC 。中兴 GoldenDB 深耕金融领域,为信用卡核心打造分布式集群系统,达到了 10 万 TPS 并发能力。

当然我们也看到有分析说,阿里 OceanBase 打榜配置是超大服务器集群,平均到每 CPU/ 每核性能只有 10800+TPMC/ 核,而传统商业数据库结合几年前的服务器硬件就已经达到了 10 万 +TPMC/ 核的水平。对于中兴 GoldenDB ,也有声音说其与某银行联合建设的信用卡核心系统用了 250+ 台服务器,分布式数据库部分用了 80 台 X86 服务器去替换的旧核心 4 台 UNIX 服务器。国产分布式数据库对服务器各处理器性能效率发挥得不够。整个分布式集群在综合硬件采购成本、数据中心中占用空间、消耗电力,算下来总体还没能展现出优势。另外国产分布式数据库在 SQL 语法和功能上,多数不能完美兼容甚至不支持自定义存储过程、函数,而且有些数据库因为采用数据分片( Sharding )的分布式特性,数据库设计和应用 SQL 实现需要特别注意多表关联及嵌套子查询语句的写法,避免因用不到正确的 Sharding Key 而导致性能低下、甚至是分布式集群节点点数据传输风暴。这些也正是国产分布式数据库正在持续努力改进的地方。

几年前,在分布式 CAP ( Consistency, Availability, Partition tolerance )理论和数据库强一致性的争论中,分布式数据库主要是满足高可用性( A )和强分区容错性( P )维度。一致性方面,传统商业数据库推崇的是 ACID ( Atomicity, Consistency, Isolation,Durability ),要确保强原子性、隔离度、持久化和刚性强一致事物能力;分布式数据库创造性提出了 BASE 理论(基本可用 Basically Available ,软状态 Soft State ,最终一致性 Eventual Consistency )来应对,强调柔性事物和满足数据最终一致性。经过几年发展和创新,现在一些国产分布式数据库现在也经受住了金融级数据强一致性考验,我们相信国产分布式数据库在保障数据一致性和安全方面会做的越来越好。

国产服务器方面,浪潮 K1 Power 服务器一直以可靠、稳定、安全著称,它与传统商业数据库的组合构成了核心数据库系统的最佳平台。同时, K1 Power 也在积极拥抱、对接上述所有国产分布式数据库,与众多国产数据库都能完美兼容,与其它硬件平台相比还具有较明显的性能领先优势。

说到性能,我们不妨通过两组测试结果,来感受一下浪潮 K1 Power 服务器上运行不同数据库的处理能力:

在模拟行业应用综合业务(查询为主 + 混合增删改)场景下,一个 K1 Power 32 核或 48 核分区,运行传统商业数据库分别达到 700 万+至 1140 万+ TPMC ;运行 MySQL/ PostgreSQL 开源数据库,能达到传统商业数据库 7 成性能;其中开源 MariaDB 最高达到 1062 万 TPMC ,与传统商业数据库性能相差不大。此工具中模拟的交易与证券类核心中混合委托及委托查询交易的复杂程度相当,即此等配置服务器能支撑 11.6 万( 700/60 )至 19 万( 1140/60 ) TPS 。银行类核心交易比此工具中模拟的交易复杂一些, K1 Power 多个银行核心交易综合业务 PoC 案例表明,此等配置服务器足以支撑银行核心交易2万 +TPS 。

我们也分别在国产 K1 Power 上做了国产集中式数据库(浪潮 K-DB 、达梦DM数据库、南大通用 Gbase 数据库)测试,相同配置下性能与传统 Oracle/DB2 数据库性能接近。国内部分城商行核心系统已经上线国产 K1 Power 结合国产数据库方案,性能超出客户预期,系统运行稳定可靠。

国产 K1 Power 与 X86 、 ARM 等平台相比性能优势非常明显。右图是最近一个金融客户模拟真实业务测试,客户分别对 K1 Power 和 X86 服务器进行实打实极限压测,压测软件和数据库本身均无瓶颈,把 K1 Power 和 X86 服务器 CPU 都压满( CPU 负载峰值都接近 100% )了。

从图中可以看出 K1 Power 44 核分区整体 TPS 性能比 4 路最新高端 X86 服务器( Intel Xeon 8276,4*28=112 核)高出 30% ,每核性能更是达到了 4 路 X86 服务器的 3.5 倍以上。而且压测过程中 X86 TPS 性能上下波动较大, K1 Power 的 TPS 性能则非常平稳。

国产 K1 Power 对比其他平台,包括高大上的进口大机上运行 Linux 系统负载的服务器,同样具有性能优势,近年来在多个不同行业不同客户实际应用场景测试结果表明:

  • 上一代 K1 Power8 服务器每核性能比它每 IFL 性能稍有优势
  • 目前 K1 Power 9 服务器每核性能则大幅领先于它每 IFL 性能

同时,浪潮 K1 Power 还具有极强的整合能力。对于企业目前仍运行在 POWER6 、 POWER7 服务器上的老核心数据库应用系统, POWER9 可以实现数据库应用平滑升级的同时,分别轻松实现 POWER9:POWER6 = 1:3 、 POWER9:POWER7 = 1:2 CPU 核数替换。当然,企业若选择 1:1CPU 核数替换,直接带来 2~3 倍以上的性能提升,帮助客户轻松应对未来新核心业务的快速增长或者双 11 等业务高峰。对于一些负载较低的非核心类老旧应用系统, POWER9 能帮助客户实现应用的平顺迁移的同时具备 1:10 以上高整合能力,帮助客户进一步降低包括硬件投资、空间和能耗、软件许可、维保及管理费用在内的多项成本。

总的来说,浪潮 K1 Power 无论从自主安全、稳定可靠、综合性能和总体成本哪个维度来看都是新核心数据库系统选型的最佳平台。

如果觉得我的文章对您有用,请点赞。您的支持将鼓励我继续创作!

0

添加新评论0 条评论

Ctrl+Enter 发表

作者其他文章

相关文章

相关问题

相关资料

X社区推广