根据我行的实施经验,主要从以下三个方面,给出一些拙见,首先是要优化日志分析的协议,我们最初采用的是开源的ElasticSearch,当每天日志量超过1T级别之后,搜索日志变动非常困难,我们采用了厂商经过优化之后的处理引擎,性能问题得到了较大的提升。第二是在线日志量保存7天周期,日常检索的日志也只需要一段周期的日志,其他历史日志进行归档保存,减少日志处理的数量来提高检索效率,第三是硬件层面,日志平台对服务器内存和IO要求比较高,采用内存和IO性能比较好的服务器,在不计成本的条件下,也可以通过横向的扩展来提高性能。
收起