如何及时发现多类数据在统一采集传输过程中的积压问题?

参与9

2同行回答

windixwindix联盟成员商业分析师某证券公司
(1)如果数据采集过程中使用Kafka进行传输,可使用Kafka Web Conslole、Kafka Manager和KafkaOffsetMonitor等工具查看生产者和消费者等流量、Topic的延时等信息。(2)如果使用RabbitMQ作为消息队列,在RabbitMQ Web控制台中监测Unacked数据项。当该项数值大于0时,表示消息积压。...显示全部

(1)如果数据采集过程中使用Kafka进行传输,可使用Kafka Web Conslole、Kafka Manager和KafkaOffsetMonitor等工具查看生产者和消费者等流量、Topic的延时等信息。
(2)如果使用RabbitMQ作为消息队列,在RabbitMQ Web控制台中监测Unacked数据项。当该项数值大于0时,表示消息积压。

收起
互联网服务 · 2018-10-18
rein07rein07系统架构师某证券
这一问题的出现有两类原因:1) 网络瓶颈当数据传输过程中某一线路出现瓶颈时,数据必然产生积压。2) 传输节点问题当网络正常时,某一传输节点出现问题时,数据也会产生积压。上诉问题可统一使用生产者消费者模型解释,当生产大于消费时,必然产生积压,当消费出现问题时,也会产生积...显示全部

这一问题的出现有两类原因:
1) 网络瓶颈
当数据传输过程中某一线路出现瓶颈时,数据必然产生积压。
2) 传输节点问题
当网络正常时,某一传输节点出现问题时,数据也会产生积压。
上诉问题可统一使用生产者消费者模型解释,当生产大于消费时,必然产生积压,当消费出现问题时,也会产生积压。如何及时发现积压问题,以及是哪类数据产生了积压,比较好的方案是实时监控。在整个传输链条上的节点需要实时上报当前节点接收和消费每一类数据的情况(如数据量),上报中心收到数据后通过对比分析即可知道哪一类数据可能出现了积压,并及时通知相关人员排查解决。
上述策略在数据采集链路监控中应用非常广泛,像交通指挥大屏一样,效果较好。

收起
证券 · 2018-10-19
浏览2507

提问者

rein07
系统架构师某证券
擅长领域: 人工智能大数据机器学习

问题来自

相关问题

相关资料

相关文章

问题状态

  • 发布时间:2018-10-18
  • 关注会员:2 人
  • 问题浏览:3798
  • 最近回答:2018-10-19
  • X社区推广