注册登录
提 问
English中文版
银行日志实时数仓

应用日志管理采用准实时数据仓库技术，除了全文搜索外，还可业务指标抽取监控。有什么成熟的经验或建议吗？

日志内容的复杂多样，比平常数据更难分析，通常的准实时数据仓库技术好好不高效，存在些不足。

关注4
评论
参与13

3同行回答
|
按赞同排序
按时间排序

gengyanggengyang数据仓库工程师民生银行
因为日志格式的不统一造成分析难度较大，需要针对每种格式硬编码实现加工逻辑。可以从日志规范上着手简化加工，给源系统指定日志打印规范，然后一次开发针对不同系统的关注指标进行差异化配置实现多次服用。...显示全部

因为日志格式的不统一造成分析难度较大，需要针对每种格式硬编码实现加工逻辑。可以从日志规范上着手简化加工，给源系统指定日志打印规范，然后一次开发针对不同系统的关注指标进行差异化配置实现多次服用。

收起
银行 · 2019-09-04
浏览2335
查看赞同的人
评论2
  • mornsky  mornsky
    规范化的日志肯定是最理想的，但是实践中很难做到，尤其是规划弱外包公司众多的中小银行。针对不规范的日志的管理如全文搜索肯定存在一些好的解决方案，譬如kafka、elasticsearch 等技术。
    2019-09-04
    赞同
    评论
  • gengyang  gengyang回复 mornsky
    日志不规范用es检索也只能模糊匹配，响应时间就不好说了。所以看你的需求，如果仅仅用于日志拍错，那es帮你处理了（就是模糊匹配），如果你需要精确也需要规范化
    2019-09-04
    赞同
    评论
王奇王奇项目经理阜新银行
可以去学习一下ELK 这个可以完美的解决你现在的问题显示全部

可以去学习一下ELK 这个可以完美的解决你现在的问题

收起
银行 · 2019-09-05
浏览2020
评论

提问者

mornsky
mornsky0112
研发工程师某银行
擅长领域： 系统运维，自动化运维，数据库
关注134
回答39
评论52

问题来自

  • 活动 - 金融大数据下准实时数据仓库的应用场景及对应技术架构路线在线探讨

    • 相关问题

  • 普通容器的日志，采用nas更好还是日志分析平台直接收集更好？
  • 实时流计算结果如何验证结果准确性？
  • 大数据实时数仓构建一般选型技术方案是怎样的？
  • 应用容器化后，建议日志是落盘后再采集还是直接通过网络发到外部呢？
  • 如何降低多语言日志客户端的研发和维护成本？

    • 相关资料

  • 4-VMware vSAN运维最佳实践-第四部-日志收集方法汇总v1.0-2021-1
  • 华为云上数据仓库服务及应用实践
  • 《面向大规模并发实时数仓业务实践-阿里 ADB
  • 26讲案例篇：如何找出狂打日志的“内鬼”
  • 日志分析项目：包括集群搭建及代码实现

    • 相关文章

  • 应用系统日志打印规范实践之道
  • 日志数据于可观测的意义及日志运维场景和工具实践

    • 问题状态

  • 发布时间：2019-09-04
  • 关注会员：4 人
  • 问题浏览：4317
  • 最近回答：2019-09-07

    • 关于TWT使用指南社区专家合作厂商入驻社区企业招聘投诉建议版权与免责声明联系我们
    © 2024talkwithtrend — talk with trend,talk with technologist京ICP备09031017号-30

    X社区推广