在银行日志分析系统项目中,如何进行消息中间件的选型?

参与9

2同行回答

liukangliukang系统分析师日志易
推荐使用kafka,关于为什么楼上已经把kafka优点写出来了,我这里不在做赘述。还有补充的一点是:kafka非常稳定,并且使用了顺序写,以及零拷贝机制,可以让吞吐量上升到一个很高的级别。heap 给到 4G以上,就可以支持日上T日志量。还有就是比起其他的一些消息队列很轻量了。另外楼上...显示全部

推荐使用kafka,关于为什么楼上已经把kafka优点写出来了,我这里不在做赘述。
还有补充的一点是:kafka非常稳定,并且使用了顺序写,以及零拷贝机制,可以让吞吐量上升到一个很高的级别。heap 给到 4G以上,就可以支持日上T日志量。还有就是比起其他的一些消息队列很轻量了。
另外楼上说 日志分析系统有着较高的实时性要求 其实大多数情况下不是这样的。就冲大多数企业使用ES来看这个实时性并没有要求那么高。

收起
互联网服务 · 2019-08-01
浏览1443
日志易 邀答
jwhdhrjwhdhr软件开发工程师农商银行
在日志分析的系统建设当中,其中消息中间件是非常关键的环节,因为日志分析系统有着较高的实时性要求,因此现在业界在日志分析系统中消息中间件的第一选择是kafka,主要基于以下几点原因:首先Kafka有着高吞吐量、低延迟:kafka每秒可以处理几十万条消息,它的延迟最低只有几毫秒,每个t...显示全部

在日志分析的系统建设当中,其中消息中间件是非常关键的环节,因为日志分析系统有着较高的实时性要求,因此现在业界在日志分析系统中消息中间件的第一选择是kafka,主要基于以下几点原因:
首先Kafka有着高吞吐量、低延迟:kafka每秒可以处理几十万条消息,它的延迟最低只有几毫秒,每个topic可以分多个partition, consumer group 对partition进行consume操作。
可扩展性:kafka集群支持热扩展,方便系统出现瓶颈时平滑扩展。
消息持久性、可靠性:日志数据支持被持久化到本地磁盘,这样可以在后端消费者出现瓶颈的时候将数据缓存备份,从而防止数据丢失
容错性:允许集群中部分节点失败(若副本数量为n,则允许n-1个节点失败)。
高并发:支持数千个客户端同时读写,这样对于前端我们的日志采集节点也就没有了数量限制。
但是随着消息中间件的种类越来越多,现在据说有部分应用场景可以使用阿里巴巴的rocketMQ来替换kafka承担一部分工作,也建议大家尝试去了解、对比和研究。

收起
互联网服务 · 2019-06-17
浏览1572

相关问题

问题状态

  • 发布时间:2019-06-17
  • 关注会员:3 人
  • 问题浏览:2925
  • 最近回答:2019-08-01
  • X社区推广