应用日志管理采用准实时数据仓库技术,除了全文搜索外,还可业务指标抽取监控。有什么成熟的经验或建议吗?

日志内容的复杂多样,比平常数据更难分析,通常的准实时数据仓库技术好好不高效,存在些不足。显示全部

日志内容的复杂多样,比平常数据更难分析,通常的准实时数据仓库技术好好不高效,存在些不足。

收起
参与13

查看其它 2 个回答gengyang的回答

gengyanggengyang数据仓库工程师民生银行

因为日志格式的不统一造成分析难度较大,需要针对每种格式硬编码实现加工逻辑。可以从日志规范上着手简化加工,给源系统指定日志打印规范,然后一次开发针对不同系统的关注指标进行差异化配置实现多次服用。

银行 · 2019-09-04
浏览2334
  • 规范化的日志肯定是最理想的,但是实践中很难做到,尤其是规划弱外包公司众多的中小银行。针对不规范的日志的管理如全文搜索肯定存在一些好的解决方案,譬如kafka、elasticsearch 等技术。
    2019-09-04
  • gengyang  gengyang回复 mornsky
    日志不规范用es检索也只能模糊匹配,响应时间就不好说了。所以看你的需求,如果仅仅用于日志拍错,那es帮你处理了(就是模糊匹配),如果你需要精确也需要规范化
    2019-09-04

回答者

gengyang
数据仓库工程师民生银行
擅长领域: 大数据实时数仓数据库

gengyang 最近回答过的问题

回答状态

  • 发布时间:2019-09-04
  • 关注会员:4 人
  • 回答浏览:2334
  • X社区推广