Kafka双机房高可用的实现方案哪种更优?

为了避免机房故障造成的服务不可用情况,所以考虑做双机房的高可用。1、AB机房各部署一套kafka集群,相当于主备,使用 MirrorMaker、LinkedIn等逻辑复制工具去同步数据2、将Kafka的节点分布部署在AB机房,通过机架信息确保每个Topic在每个机房都保存了副本1方案的网络流量压力...显示全部

为了避免机房故障造成的服务不可用情况,所以考虑做双机房的高可用。
1、AB机房各部署一套kafka集群,相当于主备,使用 MirrorMaker、LinkedIn等逻辑复制工具去同步数据
2、将Kafka的节点分布部署在AB机房,通过机架信息确保每个Topic在每个机房都保存了副本

1方案的网络流量压力会大于2方案,且需要多维护一个复制工具,但如果某个集群挂了,另一个直接就有全量数据
比较想请教,在实际的这种应用场景,建议采用哪种?以及其他需要考虑的问题都有哪些

收起
参与19

查看其它 2 个回答HelloWorDomain的回答

HelloWorDomainHelloWorDomain联盟成员其它保密

二者对比MirrorMarker的解决方案更好一些。
MirrorMarker是 Kafka 官方提供的一个工具,可以将一个集群的数据复制到另一个集群,实现跨机房的数据同步。但是 MirrorMaker 也有一些缺点,比如性能低下、不支持动态配置、无法保证数据一致性等(这方面也要在设计方案时加以考虑)。

互联网服务 · 2023-06-05
  • 感谢回复,MirrorMarker2应该修复了部分1中的问题,综合考量这些这些复制工具,有没有较为推荐或有接触到的实际投入使用的工具?
    2023-06-06
  • 是的,MirrorMaker2在一定程度上修复了1部分中的内容。它是一个比较新的技术栈,所以需要先进行功能测试,其原因是:MirrorMaker2需要额外的资源来运行,我们要评估您的业务压力对于资源的损耗。此外此解决方案中,数据在不同的集群传输,所以会增加网络流量和延迟,这部分的带宽资源损耗,需要实际业务场景评估。
    2023-06-08

回答者

HelloWorDomain
其它保密
擅长领域: 服务器中间件数据库

HelloWorDomain 最近回答过的问题

回答状态

  • 发布时间:2023-06-05
  • 关注会员:4 人
  • 回答浏览:894
  • X社区推广