银行容器云环境如何架构设计稳定、高性能的Kafka持久化存储方案？——暨 “Kafka+OKD+华为OceanStor Dorado NAS”联创测试方案线上分享 - twt企业IT交流平台 - talkwithtrend，企业IT技术社区，帮助您融入同行！

银行容器云环境如何架构设计稳定、高性能的Kafka持久化存储方案？——暨 “Kafka+OKD+华为OceanStor Dorado NAS”联创测试方案线上分享

: 罗文江云计算架构师某银行
从事银行私有云和公有云基础设施、以及混合云架构的建设，参预包括容器云等相关云服务的规划、技术选型、架构设计和实施，和业务连续性等保障体...
关注35
个人主页
Ta的精彩回答
银行行业在使用Kafka容器化服务时需要注意哪些问题？它们如何保证服务的稳定性和安全性？
建议Kafka容器化服务注意做好规划和存储的选型，譬如规划方面，根据需求确定是哪种交...1赞同
Kafka容器化服务对银行行业的业务和技术有什么启示和建议？
Kafka容器化服务对银行业务方面的价值，一是能够支持实现快速交付和部署业务系统；二是...2赞同
Kafka可视化管理控制方面咨询？
目前暂没有安排。与开源可视化工具Kafdrop去结合下，形成一套可视化管理控制系统？：请...2赞同
Kafka持久化存储方案的取舍咨询？
出现消息丢失的现象，是KAFKA参数配置失当的问题。譬如：（1） Producer 参数：如果想保证数据绝...2赞同
若一笔交易的发生，如何通过kafka进行数据流的中转？
建议先梳理清楚交易的业务特征，和数据流向，现根据需求选择合适的MQ，譬如Kafka和RabbitM...2赞同
跟据业务及需求的描述是需求建设消息平台？
建议先分析和评估业务需求，再决策是否有必要引入消息平台。确定应用场景后，再做消息平台...2赞同
一个稳定、高性能Kafka集群的参数调优和持久化存储配置方面有哪些最佳实践？
1. Broker− CPU 和内存比例建议设置为 1:4 ，比如 4C/16GB 、 8C/32GB 、 16C/64GB ...2赞同
kafka可视化管理和多租户？
建议评估滴滴开源的kafka-manager，项目地址：https://github.com/didi/KnowStreaming ...1赞同
在OKD中如何将kafka的端口暴露出来，能否实现自动横向扩展和收缩？
1、使用 Strimzi 自带的 KafkaConnect 进行数据交互，或者使用Kafka Bridge组件对接K8S...1赞同
Kafka+Operator在银行业如何落地？
Operator 本质上是K8S内建的自定义资源CRD（Custom Resource Definition） + Control...0赞同
Kakfa存储方案的多中心高可用如何实现？
高可用方案建议根据业务系统的重要性等级的需求，分层地进行高可用设计。譬如在KAFKA服...2赞同
使用kafka和rabbitmq作为消息服务云平台的方案各有什么优劣？
Kafka和RabbitMQ各自的架构设计和技术特性，决定两者有相应的适合的应用场景。譬如 kaf...1赞同
Kafka容器持久化方案对比？
使用K8S的CSI可以使用对象存储，但是其原理是通过FUSE方式模拟实现的用户态文件系统。对...1赞同
Kafka+Operator存储持久化方案对存储性能敏感程度？
是的，对存储性能和io的需求敏感。存储上具体要持久化哪些数据，这和KAFKA的应用业务场...5赞同
kafka容器化，使用nas作为持久化存储的稳定性如何？
1、 K8S的HOSTPATH方式是使用本地盘，存储在本地盘的数据可靠性较弱，出现节点故障时，KAFK...3赞同
容器化kafka的可扩展性如何？
1、建议先做好KAFKA服务的规划，譬如针对不同类的业务需求，分别提供基于TOPIC隔离的租户...1赞同
kafka容器化如何尽可能不影响业务进行数据均衡？
建议先分析产生数据均衡的原因：1）组成员发生变更，比如新 consumer 加入组，或己有 consumer...2赞同
kafka、rabbitmq等中间件在容器环境中，有没有最佳部署时间的基线配置？
kafka、rabbitmq等中间件在容器环境中部署方案，没有简单的基线配置和性能之间的线...2赞同

: 洪月企业存储产品规划华为数据存储解决方案中心
华为企业存储产品规划
关注4
个人主页
Ta的精彩回答
银行行业在使用Kafka容器化服务时需要注意哪些问题？它们如何保证服务的稳定性和安全性？
应用的高可用分为本地高可用、同城高可用、异地高可用；对应到容器部署环境就是集群内高...1赞同
Kafka持久化存储方案的取舍咨询？
数据可靠性是专业存储相对于本地盘的核心优势。专业存储在盘级、控制器级、系统级通过...0赞同
kafka容器化后存储选型？
首先，K8S对存储做了抽象，不关心集中式还是分布式，主要还是看性能、可靠性、扩展能力、功...0赞同
如何为容器云环境的Kafka集群选择合适持久化存储？
Kafka的存储需求，在功能面是存储的数据是消息流，数据量级非常大；数据CRUD操作足够简单，主...0赞同
一个稳定、高性能Kafka集群的参数调优和持久化存储配置方面有哪些最佳实践？
Kafka性能和可靠性的调优涉及Broker、Producer、Topic等组件的多个参数，并且参数之间还...0赞同
kafka选择的持久化存储性能关注点？
Kafka性能的主要指标是吞吐量（带宽）和时延。分布式存储是否满足需求，首先需要评估性能需...0赞同
kafka可视化管理和多租户？
多租户分为K8S集群和存储层的多租户；下面主要谈一下存储的多租户。华为NAS存储支持多租...0赞同
在OKD中如何将kafka的端口暴露出来，能否实现自动横向扩展和收缩？
在弹性扩缩容问题上，K8S支持通过修改Broker配置Yaml文件中的Broker数量就可以实现扩缩...1赞同
kafka自动扩缩容怎么实现？
弹性是使用容器部署Kafka带来的一大优势。如果Broker处理能力不足，简单的修改Broker配...0赞同
在设计Kafka持久化存储方案时，如何平衡性能和成本，并提高数据处理效率？
在容器云环境下性能的影响因素有很多，例如虚机容器相对于裸金属容器就会带来额外的10%-...1赞同
Kakfa存储方案的多中心高可用如何实现？
应用的高可用分为本地高可用、同城高可用、异地高可用；对应到容器部署环境就是集群内高...1赞同
Kafka容器持久化方案对比？
本次测试中没有实测使用对象存储的性能。原理上看，Kafka产生的以海量小IO小文件为主，且...5赞同
Kafka+Operator存储持久化方案对存储性能敏感程度？
Kafka对存储性能的敏感程度本质上取决于业务诉求，Operator只是Kafka容器化之后一种典型...2赞同
kafka容器化，使用nas作为持久化存储的稳定性如何？
在硬件方面，企业级NAS存储和企业级SAN存储是同一套硬件架构，可以提供与FC SAN相同的硬件...0赞同
容器化kafka的可扩展性如何？
容器化部署解决的一大问题就是便捷的扩容能力。只需要通过修改Kafka部署Yaml文件中的...0赞同
容器部署kafka性能如何？
基于实际测试，在保证端到端100ms时延左右的情况下，OceanStor Dorado NAS可以提供高达数...1赞同
kafka容器化后弹性伸缩能力如何？
容器化部署解决的一大问题就是便捷的扩容能力。只需要通过修改Kafka部署Yaml文件中的...1赞同
kafka容器化如何尽可能不影响业务进行数据均衡？
扩容后的数据均衡涉及到分区在Broker之间的重新分配，会导致业务短暂的不可用。根据我们...3赞同
普通容器的日志，采用nas更好还是日志分析平台直接收集更好？
先从单个容器的角度看日志的持久化存储：以Containerd容器运行时为例，容器日志会保存至/v...1赞同

在本场活动提问

活动明星榜

课题专家组

云计算架构师某银行

本场活动获赞 33

企业存储产品规划华为数据存储解决方案中心

本场活动获赞 17

zftang162344

其它小白一枚

本场活动获赞 8

北京不眠夜@博云21237

产品经理公司

本场活动获赞 6

课题专家组

技术总监畅销书作者

本场活动获赞 5

联盟成员

系统运维工程师唐山瑞丰钢铁（集团）有限公司

本场活动获赞 3

项目经理MM

本场活动获赞 1

waring_id121531

技术经理某公司

本场活动获赞 1

联盟成员

产品规划与架构华为数据存储解决方案中心

本场活动获赞 1

云原生架构师兴业数金

本场活动获赞 1

关于TWT 使用指南社区专家合作厂商入驻社区企业招聘投诉建议版权与免责声明联系我们
© 2024talkwithtrend — talk with trend,talk with technologist 京ICP备09031017号-30

X社区推广