大数据分析中针对日志分析的框架如何选型?

参与12

3同行回答

疯狂的馒头疯狂的馒头  产品经理 , 日志易
通用框架是ELK。不过想问一下贵公司的日志量每天有多少?举个例子1.每天30个G以下,其实建议去买一个SaaS版的日志管理平台,处理一个30G日志很轻松,常规报表少量基本仪表都可以快速呈现。又不用投入开发,比较经济实惠。2.每天上100G日志,日志种类很很繁杂的情况我也建议你买一个...显示全部

通用框架是ELK。不过想问一下贵公司的日志量每天有多少?
举个例子
1.每天30个G以下,其实建议去买一个SaaS版的日志管理平台,处理一个30G日志很轻松,常规报表少量基本仪表都可以快速呈现。又不用投入开发,比较经济实惠。
2.每天上100G日志,日志种类很很繁杂的情况我也建议你买一个商用版本日志管理平台。首先如果您仅仅是为了个查询,elk完全可以满足要求。但是如果您想好好利用起来日志,比如做业务系统管理、安全siem,你需要将日志产品公司踩过的坑再猜一遍,前提是贵公司需要有足够的研发实力。
3.如果我说的有错,可以上市面上找几款产品试试,然后自己照产品做做看看难度有多大。我前身是项目经理几年下来管过不下30大中型日志项目。
4.选产品主要看案例,首先TB级案例有多少。另外投标的时候别让售前去、让你这个项目的项目经理来讲标。如果项目经理可以把项目内容讲清楚,价位也合适TB级的案例也充分那就可以作为加分项
5.最后讲下坑,日志数据千奇百怪,如果只为了存个半年数据其实你买谁家的都行。如果要做好从日志数据打印方案、日志管理方案、日志收集(各式各样的情况、多文件的,深目录的、多行的交叉的)、日志解析(工具的完整性、功能性、解析性能)、数据分析的功能是否够灵活(你不呢能说想在图标上增加个维度就要开发吧)。统计数据的输出等等。里面很多需要考虑的。
6.我不避讳我是卖产品的。您觉得有道理给个赞就行,撩我也行。要是没道理当我没说就行。

收起
软件开发 · 2019-07-29
浏览2016
日志易 邀答
rein07rein07  系统架构师 , 某证券
现在免费且主流的均已采用Elastic公司的ELK框架,均为轻量级组件,且简单易用,从采集到界面展示几乎用不了多少时间即可搭建完毕,Kibana界面效果优异,包含地图、报表、检索、报警、监控等众多功能。...显示全部

现在免费且主流的均已采用Elastic公司的ELK框架,均为轻量级组件,且简单易用,从采集到界面展示几乎用不了多少时间即可搭建完毕,Kibana界面效果优异,包含地图、报表、检索、报警、监控等众多功能。

收起
证券 · 2018-12-27
浏览2372
asdf-asdfasdf-asdf  研究学者 , cloudstone
elk 常用组件, 上层业务封装还需要求其他组件完成日志分析 elk + redis + mysql 热点数据 , 热点分析等等, 看你的业务是什么模式和 开发人员偏好显示全部

elk 常用组件, 上层业务封装还需要求其他组件完成
日志分析 elk + redis + mysql 热点数据 , 热点分析
等等, 看你的业务是什么模式和 开发人员偏好

收起
软件开发 · 2018-12-25
浏览2422

提问者

andyfa
软件开发工程师某证券
擅长领域: 数据库大数据服务器

问题来自

相关问题

相关资料

相关文章

问题状态

  • 发布时间:2018-12-25
  • 关注会员:4 人
  • 问题浏览:3868
  • 最近回答:2019-07-29
  • X社区推广