如何进行大文件日志内容监控?

1、大文件日志或众多小日志如何进行实时的关键字匹配,实现业务监控?2、远程实时抓取应用日志或数据库日志信息?(不安装agent)显示全部

1、大文件日志或众多小日志如何进行实时的关键字匹配,实现业务监控?

2、远程实时抓取应用日志或数据库日志信息?(不安装agent)

收起
参与31

查看其它 4 个回答yujin2010good的回答

yujin2010goodyujin2010good系统工程师大型零售巨头

开源工具有很多,如果不允许用开源工具,可以按照这个样子去开发。

1、logstash 是一个应用程序日志、事件的传输、处理、管理和搜索的平台。你可以用它来统一对应用程序日志进行收集管理,提供 Web 接口用于查询和统计。他可以对你的日志进行收集、分析,并将其存储供以后使用(如,搜索),您可以使用它。说到搜索,logstash带有一个web界面,搜索和展示所有日志。

2、Kibana 是一个为 Logstash 和 ElasticSearch 提供的日志分析的 Web 接口。可使用它对日志进行高效的搜索、可视化、分析等各种操作。kibana 也是一个开源和免费的工具,他可以帮助您汇总、分析和搜索重要数据日志并提供友好的web界面。他可以为 Logstash 和 ElasticSearch 提供的日志分析的 Web 界面。

3、RabbitMQ是一个受欢迎的消息代理,通常用于应用程序之间或者程序的不同组件之间通过消息来进行集成。本文简单介绍了如何使用 RabbitMQ,假定你已经配置好了rabbitmq服务器。

4、Apache Kafka是由Apache软件基金会开发的一个开源消息系统项目,由Scala写成。Kafka最初是由LinkedIn开发,并于2011年初开源。2012年10月从Apache Incubator毕业。该项目的目标是为处理实时数据提供一个统一、高通量、低等待的平台。

等等,都可以用已log收集,检索。还有一些简单的工具如sync等也可以实现简单的log收集。

互联网服务 · 2016-06-29
浏览2477

回答者

yujin2010good
系统工程师大型零售巨头
擅长领域: 云计算服务器存储

yujin2010good 最近回答过的问题

回答状态

  • 发布时间:2016-06-29
  • 关注会员:8 人
  • 回答浏览:2477
  • X社区推广