
活动简介
银行业务应用系统每天有大量的交易发生,这些交易很多需要进行实时的业务核查与处理,譬如一笔交易发生,这笔交易是否是欺诈交易,这笔交易是否已经达到限额了,相关用户是否在黑名单中,交易结果联动短信、Email渠道通知用户等等,典型的一笔简单的资金转账交易,就要与反欺诈系统、黑名单系统、限额或授信管控系统、短信邮件系统进行通讯。另外,银行业务应用系统在投产后的运行时,如果出现了问题,需要采集日志及时做故障定位;为了及时发现问题,要将处理结果实施发送监控平台;为了预防突发事件发生,还需要备份系统做高可用处理。这就需要业务应用系统与运维体系中的日志系统、监控系统、备份系统进行数据交互。这些处理须在极短时间内完成,否则用户体验就会受损和卡顿。
解决这类问题的成熟技术方案是在各个银行业务应用系统之间建设一个消息分发的总控系统,连接总控系统有2种角色:消息供应方(Producer):产生消息,并将消息送给消息分发系统。消息消费方(Comsumer):从消息分发系统获取消息进行功能处理。消息分发系统起到消息中介(Message Broker)的作用。
当前Kafka容器化部署正成为银行业解决这类问题的一大实践趋势,而在Kafka容器化部署的落地实施过程中,需要面临的一个核心问题:做好Kafka存储的技术选型。Kafka的存储需求,在功能面,由于存贮的数据是消息流,数据量级非常大,需要数据CRUD操作足够简单,主要为并发非常高和百万级TPS的追加写、无需更改、能根据消费位移offset和时间戳timestamp查询消息、能定期删除过期的消息;在非功能性面,需要实现高性能要求、高可用的稳定性要求、高扩展性要求。
本期联创测试方案主要围绕Kafka容器化部署改造的可行性验证过程中,基于OKD(k8s)+NAS存储的技术架构的高可靠、高性能的Kafka容器化集群进行测试实践、总结经验,最终以《银行业Kafka容器化服务测试报告》与同行分享交流,共同探讨银行容器云环境下如何架构设计稳定、高性能的Kafca持久化存储方案。欢迎同行阅读测试报告和交流探讨!
核心问题:
1. 如何为容器云环境的Kafka集群选择合适持久化存储?
2. 如何设计容器云环境的高可用Kafka集群?
3. 一个稳定、高性能Kafka集群的参数调优和持久化存储配置方面有哪些最佳实践?
支持组织:
嘉宾介绍
罗文江 某股份制银行云计算架构师
从业经验近30年,经历了应用开发、业务分析BA、系统设计SA、CMMI之EPG过程改进、应用架构管理、云计算架构规划设计等角色转变。当前从事银行私有云、公有云和信创的基础设施建设,参预包括容器云等相关云服务的规划、技术选型、架构设计和实施,和业务连续性等保障体系的建设工作;
洪月 华为企业存储产品规划专家
2010年入职华为,华为OceanStor企业存储产品规划和需求管理,负责企业存储NAS、安全及容器场景规划。长期负责海外重点客户拓展、Deep Dive深度技术交流、调研等。
主题资料
银行行业Kafka容器化服务测试报告
• 本次测试中验证了卷在线扩容、节点在线扩容、节点再均衡等功能,均达到了预期的测试效果;
• 验证了节点故障的集群快速自愈能力,发现企业级NAS在该场景下可以实现高效的POD漂移;
• 考虑到企业级存储本身保证了数据的高可靠,可以减少Kafka消息副本数;测试了单副本下的性能,发现性能和时延均实现了三倍的提升,收益显著;
• 分别创建不同数量的Topic和Broker对集群进行了性能压测,发现OceanStor Dorado均可以达到接近本地盘的吞吐量和时延表现。
本测试方案验证了华为企业级NAS存储与红帽 OpenShift 容器云平台的组合,是性能卓越、稳定的运行平台,其中 Kafka 集群容器化部署表现出与非容器部署接近的性能,达到了对Kafka服务容器化改造的技术可行性验证的预期效果。