Kakfa存储方案的多中心高可用如何实现?

Kafka存储在容器平台的高可用方案如何实现?包括多中心、多租户如何实现?多中心间存储如何实现同步,基于硬件层还是软件层?

参与8

2同行回答

rechenrechen  云计算架构师 , 某银行
高可用方案建议根据业务系统的重要性等级的需求,分层地进行高可用设计。譬如在KAFKA服务层,可将KAFKA部署在多个K8S集群,通过负载均衡实现应用接入的高可用。 存储层根据相应的技术选型和存储产品特性,通过数据副本、数据同步等实现高可用。KAFKA服务层必须要设计为多租户支...显示全部

高可用方案建议根据业务系统的重要性等级的需求,分层地进行高可用设计。譬如在KAFKA服务层,可将KAFKA部署在多个K8S集群,通过负载均衡实现应用接入的高可用。 存储层根据相应的技术选型和存储产品特性,通过数据副本、数据同步等实现高可用。

KAFKA服务层必须要设计为多租户支持,其次存储层的产品对租户的支持是可选。如果也有租户功能则更佳,服务层可和存储层进行租户映射和API对接。

多中心间存储的数据同步,视存储层的技术选型。譬如选择NAS硬件设备,则可在硬件层实现同步。

收起
银行 · 2023-05-10
浏览735
洪月洪月  企业存储产品规划 , 华为数据存储解决方案中心
应用的高可用分为本地高可用、同城高可用、异地高可用;对应到容器部署环境就是集群内高可用、同城跨集群高可用、异地高可用等方案。本地高可用上,NAS的多读多写能力可以支撑POD在集群内的快速漂移,一分钟以内恢复业务;华为企业级NAS存储支持集群内双活,即一个Kafka的Broker P...显示全部

应用的高可用分为本地高可用、同城高可用、异地高可用;对应到容器部署环境就是集群内高可用、同城跨集群高可用、异地高可用等方案。

本地高可用上,NAS的多读多写能力可以支撑POD在集群内的快速漂移,一分钟以内恢复业务;华为企业级NAS存储支持集群内双活,即一个Kafka的Broker POD下可以部署双活文件系统,上层无感知,存储层数据双写。在跨集群高可用上,华为企业级NAS支持跨集群异步复制,即将支持跨集群双活能力。用户可以实现应用粒度的跨集群容灾保护。多集群存储之间的数据同步是依赖存储设备的双活和复制能力实现的。

多租户分为K8S集群和存储层的多租户;下面主要谈一下存储的多租户。华为NAS存储支持多租户能力,不同租户之间数据面、网络面、管理面都是隔离的,可以根据需求对接不同的Kafka集群、Kafka集群和其他应用集群等,实现共享存储底座后的隔离能力,防止业务互相影响;不同租户还可以设置不同的容量配额,实现更方便的容量管理。

收起
硬件生产 · 2023-05-15
浏览654

ChatGPT 回答

Kafka存储在容器平台的高可用方案可以通过以下步骤实现:

  1. 使用Kubernetes等容器编排工具来部署Kafka集群,确保Kafka集群的高可用性。
  2. 在Kafka集群中使用多个broker节点来实现数据的冗余备份,确保数据的可靠性和高可用性。
  3. 使用Zookeeper来管理Kafka集群的元数据信息,确保Kafka集群的稳定性和可靠性。
  4. 使用存储卷来存储Kafka集群的数据,确保数据的持久化和可靠性。
  5. 使用多中心部署来实现Kafka集群的跨地域容灾,确保Kafka集群的高可用性。
  6. 使用多租户机制来实现不同租户之间的数据隔离和安全性,确保数据的安全性和可靠性。
  7. 在多中心间使用数据同步技术来实现数据的同步,可以基于硬件层或软件层实现。基于硬件层可以使用存储设备的复制功能来实现数据的同步,基于软件层可以使用Kafka Mirror Maker等工具来实现数据的同步。

总之,Kafka存储在容器平台的高可用方案需要综合考虑多个因素,包括容器编排工具、Kafka集群的部署和配置、数据的备份和存储、多中心部署和数据同步等,才能实现高可用性和可靠性。

提问者

maokai
maokai0010
容器云工程师某股份制银行
擅长领域: 云计算容器容器云

问题来自

相关问题

相关资料

相关文章

问题状态

  • 发布时间:2023-05-10
  • 关注会员:3 人
  • 问题浏览:1514
  • 最近回答:2023-05-15
  • X社区推广