日志分析平台性能方面问题应该从哪些方面予以解决?

参与14

4同行回答

luxh08luxh08科技部门副总某互联网银行
根据我行的实施经验,主要从以下三个方面,给出一些拙见,首先是要优化日志分析的协议,我们最初采用的是开源的ElasticSearch,当每天日志量超过1T级别之后,搜索日志变动非常困难,我们采用了厂商经过优化之后的处理引擎,性能问题得到了较大的提升。第二是在线日志量保存7天周期,日常检...显示全部

根据我行的实施经验,主要从以下三个方面,给出一些拙见,首先是要优化日志分析的协议,我们最初采用的是开源的ElasticSearch,当每天日志量超过1T级别之后,搜索日志变动非常困难,我们采用了厂商经过优化之后的处理引擎,性能问题得到了较大的提升。第二是在线日志量保存7天周期,日常检索的日志也只需要一段周期的日志,其他历史日志进行归档保存,减少日志处理的数量来提高检索效率,第三是硬件层面,日志平台对服务器内存和IO要求比较高,采用内存和IO性能比较好的服务器,在不计成本的条件下,也可以通过横向的扩展来提高性能。

收起
银行 · 2021-03-18
浏览1424
yotta_beyondyotta_beyond技术总监日志易
1.采集速度,采集端的性能消耗,采集端对采集文件大小,采集文件数量的可控性2.ETL日志清洗的速度3.搜索引擎的入库速度,搜索速度,大分组统计速度、长周期日志搜索的健壮性、以及日志存储空间...显示全部

1.采集速度,采集端的性能消耗,采集端对采集文件大小,采集文件数量的可控性

2.ETL日志清洗的速度

3.搜索引擎的入库速度,搜索速度,大分组统计速度、长周期日志搜索的健壮性、以及日志存储空间

收起
软件开发 · 2021-03-24
浏览1344
沈天真沈天真售前支持IPS
基础架构和大数据分析平台的要求基本一致,服务器层面,可以试试 K1 Power Linux 平台;I/O的影响也很大,如果特别追求性能,建议你使用SSD代替HDD;显示全部

基础架构和大数据分析平台的要求基本一致,服务器层面,可以试试 K1 Power Linux 平台;I/O的影响也很大,如果特别追求性能,建议你使用SSD代替HDD;

收起
硬件生产 · 2021-03-18
浏览1412
匿名用户匿名用户
你用的是硬件的日志,还是软件日志!不管怎么样,提高性能还是需要看你的硬件支撑平台。显示全部

你用的是硬件的日志,还是软件日志!

不管怎么样,提高性能还是需要看你的硬件支撑平台。

收起
系统集成 · 2021-03-18
浏览1408

提问者

ForeverMoon
系统架构师徽商银行股份有限公司
擅长领域: 存储灾备日志分析

问题来自

相关问题

相关资料

相关文章

问题状态

  • 发布时间:2021-03-18
  • 关注会员:5 人
  • 问题浏览:2908
  • 最近回答:2021-03-24
  • X社区推广