应用日志管理采用准实时数据仓库技术,除了全文搜索外,还可业务指标抽取监控。有什么成熟的经验或建议吗?

日志内容的复杂多样,比平常数据更难分析,通常的准实时数据仓库技术好好不高效,存在些不足。显示全部

日志内容的复杂多样,比平常数据更难分析,通常的准实时数据仓库技术好好不高效,存在些不足。

收起
参与13

查看其它 2 个回答liukang的回答

liukangliukang系统分析师日志易

应用日志使用全文搜索引擎在分析问题的时候还是比较重要的,因为:
1. 可以加速查询,无需登录每台主机
2. 可以将各个应用模块进行串联分析
3.  将应用的整体趋势与各个相关联的并非此应用的内容进行结合查看,可以分析出性能问题

如果要做全文搜索引擎,建议要考虑一下我们的目标。假如是我们上面是主要目标,则:
1. 需要接入应用的全部日志
2. 需要有串联id
3. 日志输出一定要规范化。最常见的  时间、级别、串联ID、事件类型、事件描述、必须要全部按照一定格式输出。
4. 在接入的时候使用事件合并(如果有这个功能,可以大大减少日志规范化工作量)

在日常使用中,经常出现的问题是 日志打印不规范,输出内容多而无用。如果出现这个问题,且很难更改,那么问题重点不再是选用何种搜索引擎,而是如何将日志规范化,因为无论何种引擎,如果需要精益分析,数据准确、可靠、可追溯是必须的要求。

互联网服务 · 2019-09-07
浏览2008

回答者

liukang
系统分析师日志易
擅长领域: 系统运维监控数据库

liukang 最近回答过的问题

回答状态

  • 发布时间:2019-09-07
  • 关注会员:4 人
  • 回答浏览:2008
  • X社区推广