Kafka双机房高可用的实现方案哪种更优?

为了避免机房故障造成的服务不可用情况,所以考虑做双机房的高可用。
1、AB机房各部署一套kafka集群,相当于主备,使用 MirrorMaker、LinkedIn等逻辑复制工具去同步数据
2、将Kafka的节点分布部署在AB机房,通过机架信息确保每个Topic在每个机房都保存了副本

1方案的网络流量压力会大于2方案,且需要多维护一个复制工具,但如果某个集群挂了,另一个直接就有全量数据
比较想请教,在实际的这种应用场景,建议采用哪种?以及其他需要考虑的问题都有哪些

参与19

ChatGPT 回答

在实际应用场景中,建议采用方案2,将Kafka的节点分布部署在AB机房,通过机架信息确保每个Topic在每个机房都保存了副本。这是因为方案2可以减少网络流量,同时也可以减少维护复制工具的工作量。另外,方案2可以更好地保证数据的一致性和可用性。

除了方案选择之外,还需要考虑以下问题:

  1. 机房选择:需要选择两个相对独立的机房,避免一起宕机的情况。
  2. 网络带宽:需要保证两个机房之间的网络带宽足够,以保证数据同步的及时性。
  3. 负载均衡:需要考虑如何实现负载均衡,以保证数据的高可用性和可扩展性。
  4. 安全性:需要考虑如何保证数据的安全性,例如数据加密、访问控制等。
  5. 监控和报警:需要建立完善的监控和报警机制,及时发现和解决问题。
  6. 业务需求:需要根据具体业务需求,选择合适的方案和技术架构。

提问者

金金金
大数据工程师中原银行
擅长领域: 服务器消息中间件中间件

问题来自

相关问题

相关资料

相关文章

问题状态

  • 发布时间:2023-06-01
  • 关注会员:4 人
  • 问题浏览:1808
  • 最近回答:2023-07-01
  • X社区推广