华为存储同行交流活动容器云平台OpenShiftNAS(网络附属存储)架构设计

银行容器云环境如何架构设计稳定、高性能的Kafka持久化存储方案?——暨 “Kafka+OKD+华为OceanStor Dorado NAS”联创测试方案线上分享

银行容器云环境如何架构设计稳定、高性能的Kafka持久化存储方案?——暨 “Kafka+OKD+华为OceanStor Dorado NAS”联创测试方案线上分享

活动简介

银行业务应用系统每天有大量的交易发生,这些交易很多需要进行实时的业务核查与处理,譬如一笔交易发生,这笔交易是否是欺诈交易,这笔交易是否已经达到限额了,相关用户是否在黑名单中,交易结果联动短信、Email渠道通知用户等等,典型的一笔简单的资金转账交易,就要与反欺诈系统、黑名单系统、限额或授信管控系统、短信邮件系统进行通讯。另外,银行业务应用系统在投产后的运行时,如果出现了问题,需要采集日志及时做故障定位;为了及时发现问题,要将处理结果实施发送监控平台;为了预防突发事件发生,还需要备份系统做高可用处理。这就需要业务应用系统与运维体系中的日志系统、监控系统、备份系统进行数据交互。这些处理须在极短时间内完成,否则用户体验就会受损和卡顿。

解决这类问题的成熟技术方案是在各个银行业务应用系统之间建设一个消息分发的总控系统,连接总控系统有2种角色:消息供应方(Producer):产生消息,并将消息送给消息分发系统。消息消费方(Comsumer):从消息分发系统获取消息进行功能处理。消息分发系统起到消息中介(Message Broker)的作用。

当前Kafka容器化部署正成为银行业解决这类问题的一大实践趋势,而在Kafka容器化部署的落地实施过程中,需要面临的一个核心问题:做好Kafka存储的技术选型。Kafka的存储需求,在功能面,由于存贮的数据是消息流,数据量级非常大,需要数据CRUD操作足够简单,主要为并发非常高和百万级TPS的追加写、无需更改、能根据消费位移offset和时间戳timestamp查询消息、能定期删除过期的消息;在非功能性面,需要实现高性能要求、高可用的稳定性要求、高扩展性要求。

本期联创测试方案主要围绕Kafka容器化部署改造的可行性验证过程中,基于OKD(k8s)+NAS存储的技术架构的高可靠、高性能的Kafka容器化集群进行测试实践、总结经验,最终以《银行业Kafka容器化服务测试报告》与同行分享交流,共同探讨银行容器云环境下如何架构设计稳定、高性能的Kafca持久化存储方案。欢迎同行阅读测试报告和交流探讨!

核心问题:

1.  如何为容器云环境的Kafka集群选择合适持久化存储?

2.  如何设计容器云环境的高可用Kafka集群?

3.  一个稳定、高性能Kafka集群的参数调优和持久化存储配置方面有哪些最佳实践?

支持组织:

activity_62b58bd32027c1656064979.png

嘉宾介绍

rechen 某股份制银行云计算架构师

从业经验近30年,经历了应用开发、业务分析BA、系统设计SA、CMMI之EPG过程改进、应用架构管理、云计算架构规划设计等角色转变。当前从事银行私有云、公有云和信创的基础设施建设,参预包括容器云等相关云服务的规划、技术选型、架构设计和实施,和业务连续性等保障体系的建设工作;

洪月 华为企业存储产品规划专家

2010年入职华为,华为OceanStor企业存储产品规划和需求管理,负责企业存储NAS、安全及容器场景规划。长期负责海外重点客户拓展、Deep Dive深度技术交流、调研等。


主题资料

银行行业Kafka容器化服务测试报告

本次测试模拟生产环境 Kafka 集群架构,实现了高可用Kafka集群实例在容器云平台节点上的独立部署,使用企业级NAS存储为 Kafka 集群提供了Topic分区数据、配置信息等关键信息的持久化。
• 本次测试中验证了卷在线扩容、节点在线扩容、节点再均衡等功能,均达到了预期的测试效果;
• 验证了节点故障的集群快速自愈能力,发现企业级NAS在该场景下可以实现高效的POD漂移;
• 考虑到企业级存储本身保证了数据的高可靠,可以减少Kafka消息副本数;测试了单副本下的性能,发现性能和时延均实现了三倍的提升,收益显著;
• 分别创建不同数量的Topic和Broker对集群进行了性能压测,发现OceanStor Dorado均可以达到接近本地盘的吞吐量和时延表现。
本测试方案验证了华为企业级NAS存储与红帽 OpenShift 容器云平台的组合,是性能卓越、稳定的运行平台,其中 Kafka 集群容器化部署表现出与非容器部署接近的性能,达到了对Kafka服务容器化改造的技术可行性验证的预期效果。

分享嘉宾

罗文江
云计算架构师某银行
擅长领域: 云计算容器容器云
发布207
回答200
发布37
回答36

嘉宾

zzy3620
系统环境管理某城商行
擅长领域: 数据库存储云计算
发布79
回答57
menglunyang
系统工程师中国银行
擅长领域: 云计算容器容器云
发布91
回答33
zqf1357
系统工程师宁波银行
发布0
回答0
wwzwh9521
系统工程师bcs
擅长领域: 存储灾备云计算
发布24
回答9
朱向东
高级工程师某银行
擅长领域: 服务器存储数据库
发布207
回答177
Helingjun
架构师宁波通商银行
擅长领域: 容器云计算容器云
发布5
回答0
snow_huige
项目经理浙商银行
擅长领域: 存储消息中间件kafka
发布3
回答1
Senko lee
系统架构师江西裕民银行
擅长领域: 服务器灾备存储
发布160
回答68
橘子皮
容器云运维工程师北京银行
擅长领域: 云计算容器消息中间件
发布6
回答0
王奇
项目经理阜新银行
擅长领域: 大数据数据库商业智能
发布23
回答17

活跃参与会员

  • yulu4314
  • lxk215313951
  • wwzwh9521
  • whitewindmind
  • purpose
  • wuzhuang0001
  • Andy_wu
  • sunyifeng
  • zftang0809
  • dongbayou
  • menglunyang
  • rechen
  • yyf123
  • 顾黄亮
  • wenwen123
  • 王奇
  • bobo1720
  • nonetheless
  • rechen2020
  • zzy3620
  • starsky
  • Helingjun
  • 北京不眠夜
  • liutengfei
  • wujiahua
  • 洪月
  • waring_id
  • snow_huige
  • 橘子皮
  • maokai
  • jimnie
  • 伊始
  • aixchina
  • 晓黎
  • hornyzhang
  • 停不下来
  • 苏十一
  • zhangpan31
  • TXSRXY
  • faye
  • top448zhaoyan
  • aigoppb
  • zhuqhua
  • twt运营
  • yuxinlen
  • 彬彬
  • yyfly007
  • xiaokfy
  • evilada
  • qiuhaoshu
  • extremeh3c
  • syrambo
  • yaoyaozdl
  • smilygh
  • shomer23
  • IT合作社
  • 潘建星
  • mcmoo
  • coolloti
  • samsondows
  • JAGXU
  • wangyeye
  • 小雷
  • dbaydna
  • Lancer
  • ntzs
  • yufeng411
  • guoxilin
  • airstuky
  • 挚爱咖啡
  • breeze风
  • 甘草片
  • 奇香万千
  • yuanhero
  • Chen0304
  • Mr丶F
  • zqf1357
  • 善良的欧拉
  • savior141
  • moranhuishou
  • huangwind
  • yjn123
  • redhat
  • yangshuyin
  • zhangyujz
  • 侯守立
  • andy_zhang
  • zhuyihe
  • cybest
  • Simon_yang
  • Julien
  • baicai_kevin
  • 快乐的BY锅
  • 落花有意流水
  • bjitnan
  • ztzqliutw
  • 存储小海
  • Hopper007
  • vej
  • herm
  • 佳涵爸爸
  • nicolg
  • 陈恒龙
  • pengsir
  • L526378565
  • lxh816
  • 波波爸爸
  • wjf102
  • 北华老仙
  • CZZ
  • 吴知
  • kylingx
  • qiaofeiye
  • heavknw
  • xiaoxiongzz
  • 一剑e屋
  • 存储量化
  • power08
  • xinyun888
  • pjh476765945
  • 心心在一艺
  • w123456
  • 戴哈哈哈
  • naigai
  • puqqcn
  • zhangkai8048
  • panta
  • FlyingFly
  • hlc123
  • Mercy1108
  • supernysy
  • 何乐不为
  • 爱瞌睡的枕头
  • webyxm
  • 千米
  • sdfsdf2
  • 云原生学习许
  • Evercan
  • 木头001
  • aronyuan
  • jhj
  • 山涧霸王龙JAS
  • marvin5
  • silencet
  • lightcatcher
  • jefffffff
  • jfqxll
  • larryz
  • X社区推广