容器部署kafka性能如何?

容器化部署kafka,使用nas作为持久化存储,性能是否满足生产需求,性能瓶颈在什么地方

参与11

3同行回答

顾黄亮顾黄亮课题专家组技术总监畅销书作者
实测过,kafka在容器云和虚拟机中部署,性能是一样的,基本上没有任何变化。 容器化技术本身是个进程级别的隔离技术,机器还是那个机器,网络还是那个网络,运行的程序也一样。显示全部

实测过,kafka在容器云和虚拟机中部署,性能是一样的,基本上没有任何变化。 容器化技术本身是个进程级别的隔离技术,机器还是那个机器,网络还是那个网络,运行的程序也一样。

收起
银行 · 2023-05-12
浏览879
基于实际测试,在保证端到端100ms时延左右的情况下,OceanStor Dorado NAS可以提供高达数百MB/s的吞吐量,远超大部分集群的需求。在大压力(如每秒百万个1K大小消息)压测的情况下,Broker的处理能力、网络等都可能成为性能瓶颈;此次的测试规模尚未达到NAS存储的性能瓶颈。...显示全部

基于实际测试,在保证端到端100ms时延左右的情况下,OceanStor Dorado NAS可以提供高达数百MB/s的吞吐量,远超大部分集群的需求。

在大压力(如每秒百万个1K大小消息)压测的情况下,Broker的处理能力、网络等都可能成为性能瓶颈;此次的测试规模尚未达到NAS存储的性能瓶颈。

收起
硬件生产 · 2023-05-15
浏览839
企业NAS以实测情况看,全闪配置,大文件小IO读写至少可以达到FC SAN的80%+,也是几十万OPS@1ms的水平,对于Kafka没啥问题。。。可能要注意的就是如果热点数据不多,完全可以配置混合存储,30%的SSD占比,足以支撑热点数据的读写要求。...显示全部

企业NAS以实测情况看,全闪配置,大文件小IO读写至少可以达到FC SAN的80%+,也是几十万OPS@1ms的水平,对于Kafka没啥问题。。。可能要注意的就是如果热点数据不多,完全可以配置混合存储,30%的SSD占比,足以支撑热点数据的读写要求。

收起
互联网服务 · 2023-05-12
浏览862

ChatGPT 回答

容器化部署Kafka并使用NAS作为持久化存储是可行的,但是需要注意以下几点:

  1. 确保NAS的性能足够满足生产需求。NAS的性能主要受到网络带宽、存储设备的读写速度、存储设备的容量等因素的影响。需要根据实际情况进行评估,确保NAS的性能能够满足Kafka的生产需求。
  2. 需要注意Kafka的性能瓶颈。Kafka的性能瓶颈主要在于磁盘的读写速度和网络带宽。因此,在容器化部署Kafka时,需要注意磁盘的读写速度和网络带宽的配置,以确保Kafka的性能能够满足生产需求。
  3. 需要考虑容器化部署的可靠性。容器化部署Kafka时,需要确保容器的高可用性和容错性。可以使用Kubernetes等容器编排工具来管理Kafka容器,以确保Kafka的高可用性和容错性。

总的来说,容器化部署Kafka并使用NAS作为持久化存储是可行的,但需要注意性能瓶颈和可靠性等问题。需要根据实际情况进行评估和调整,以确保Kafka的性能和可靠性能够满足生产需求。

提问者

橘子皮
容器云运维工程师北京银行
擅长领域: 云计算容器消息中间件

问题来自

相关问题

相关资料

相关文章

问题状态

  • 发布时间:2023-05-11
  • 关注会员:4 人
  • 问题浏览:2009
  • 最近回答:2023-05-15
  • X社区推广