查看其它 1 个回答jwhdhr的回答

jwhdhrjwhdhr软件开发工程师农商银行

在日志分析的系统建设当中,其中消息中间件是非常关键的环节,因为日志分析系统有着较高的实时性要求,因此现在业界在日志分析系统中消息中间件的第一选择是kafka,主要基于以下几点原因:
首先Kafka有着高吞吐量、低延迟:kafka每秒可以处理几十万条消息,它的延迟最低只有几毫秒,每个topic可以分多个partition, consumer group 对partition进行consume操作。
可扩展性:kafka集群支持热扩展,方便系统出现瓶颈时平滑扩展。
消息持久性、可靠性:日志数据支持被持久化到本地磁盘,这样可以在后端消费者出现瓶颈的时候将数据缓存备份,从而防止数据丢失
容错性:允许集群中部分节点失败(若副本数量为n,则允许n-1个节点失败)。
高并发:支持数千个客户端同时读写,这样对于前端我们的日志采集节点也就没有了数量限制。
但是随着消息中间件的种类越来越多,现在据说有部分应用场景可以使用阿里巴巴的rocketMQ来替换kafka承担一部分工作,也建议大家尝试去了解、对比和研究。

互联网服务 · 2019-06-17
浏览1574

回答者

jwhdhr
软件开发工程师农商银行
擅长领域: 数据库中间件消息中间件

jwhdhr 最近回答过的问题

回答状态

  • 发布时间:2019-06-17
  • 关注会员:3 人
  • 回答浏览:1574
  • X社区推广