容器化kafka的可扩展性如何?

容器部署kafka集群,当有新业务需求时,如何快速交付新建专用的kafka集群,

当基础设施计算或存储资源不足时,是否可以快速扩容

参与10

3同行回答

罗文江罗文江课题专家组云计算架构师某银行
1、建议先做好KAFKA服务的规划,譬如针对不同类的业务需求,分别提供基于TOPIC隔离的租户共享或独享集群的SKU交付规格,并且为租户提供的自服务的资源申请流程。当有新业务需求时,租户可自主创建KAFKA集群,且由KAFKA服务平台进行运维纳管2、 建议采取计算存储分离的架构,譬如存...显示全部

1、建议先做好KAFKA服务的规划,譬如针对不同类的业务需求,分别提供基于TOPIC隔离的租户共享或独享集群的SKU交付规格,并且为租户提供的自服务的资源申请流程。当有新业务需求时,租户可自主创建KAFKA集群,且由KAFKA服务平台进行运维纳管

2、 建议采取计算存储分离的架构,譬如存储层的技术选型可选择合适的NAS存储设备,当存储资源不足时,可单独快速扩容。采用此存算分离架构的另一个优点,是可根据各单位的实际情况,可灵活弹性交付虚拟机或者物理机。

收起
银行 · 2023-05-13
浏览588
顾黄亮顾黄亮课题专家组技术总监畅销书作者
容器化其实就是解决部署扩展的问题,这个扩展和kafka自身能力没有关系。主要为了部署快捷,容器化以后, 搭建一个kafka集群只要几秒钟。其次,集群扩展也非常容易。显示全部

容器化其实就是解决部署扩展的问题,这个扩展和kafka自身能力没有关系。主要为了部署快捷,容器化以后, 搭建一个kafka集群只要几秒钟。其次,集群扩展也非常容易。

收起
银行 · 2023-05-12
浏览635
容器化部署解决的一大问题就是便捷的扩容能力。只需要通过修改Kafka部署Yaml文件中的副本数就可以轻松的实现部署和扩容。针对计算或存储资源不充足的情况,可以通过评估每个POD需要的计算资源情况实现轻量化部署,例如提供4C16G或者4C8G资源就可以新增一个Broker,而且可以与...显示全部

容器化部署解决的一大问题就是便捷的扩容能力。只需要通过修改Kafka部署Yaml文件中的副本数就可以轻松的实现部署和扩容。

针对计算或存储资源不充足的情况,可以通过评估每个POD需要的计算资源情况实现轻量化部署,例如提供4C16G或者4C8G资源就可以新增一个Broker,而且可以与其他业务共享主机,这也是容器化带来的优势;存储上可以先配置较低的起步容量,再根据需要灵活扩容。

收起
硬件生产 · 2023-05-15
浏览585

ChatGPT 回答

在银行行业中,Kafka是一种常用的消息队列系统,用于处理大量的实时数据。为了快速交付新建专用的Kafka集群,并在基础设施计算或存储资源不足时快速扩容,可以考虑以下步骤:

  1. 使用容器技术部署Kafka集群:容器技术可以帮助快速部署和管理Kafka集群,同时提供更好的可移植性和可扩展性。可以使用Docker等容器技术来创建Kafka镜像,并使用Kubernetes等容器编排工具来管理Kafka集群。
  2. 使用自动化工具来快速交付新建专用的Kafka集群:可以使用自动化工具如Ansible、Puppet等来自动化部署和配置Kafka集群,从而快速交付新建专用的Kafka集群。
  3. 使用云计算服务来快速扩容:可以使用云计算服务如AWS、Azure等来快速扩容Kafka集群。这些云计算服务提供了自动扩容和缩容的功能,可以根据实际需求动态调整计算和存储资源。
  4. 使用监控工具来监控Kafka集群的运行状态:可以使用监控工具如Prometheus、Grafana等来监控Kafka集群的运行状态,及时发现和解决问题,确保Kafka集群的稳定性和可靠性。

总之,使用容器、自动化工具和云计算服务可以帮助银行行业快速交付新建专用的Kafka集群,并在基础设施计算或存储资源不足时快速扩容。同时,使用监控工具可以确保Kafka集群的稳定性和可靠性。

提问者

橘子皮
容器云运维工程师北京银行
擅长领域: 云计算容器消息中间件

问题来自

相关问题

相关资料

相关文章

问题状态

  • 发布时间:2023-05-11
  • 关注会员:4 人
  • 问题浏览:1497
  • 最近回答:2023-05-15
  • X社区推广