前段时间有人介绍过国外的splunk产品,最近有人介绍国内的日志易产品。各位专家能否简单介绍一下各厂家的日志分析产品都有什么优缺点,在日志分析上能对系统运维提供多大的帮助?
哈哈,替楼上补充一点:
Splunk也是提供agent采集的。
logstash用的是JRuby,不过实现不是很通用,在AIX上的JVM上确实跑不起来。不过logstash的Grok正则扩展倒是解决了一点读起来像天书的问题~
收起日志易现在也像Splunk一样,支持索引阶段对日志做结构化(Schema on Write),及检索阶段对日志做结构化(Schema on Read),用户可以根据自己的需要,选择适合自己的策略。
splunk和日志易是别人的商业产品,我不知道是否合适对这些产品做太多对比优劣评论。
就数据采集和日志内容解析方面,我单论述事实:
1 日志易使用rsyslog或者代理程序来采集日志和提取日志
2 Splunk我不太清楚
3 ELK采用logstash
你采用什么方法,随之而来,就有什么优点和缺点。
不过ELK是开源组件,可以多讨论一些,ELK采用logstash,首先需要在待监控的服务器上安装logstash,另外,logstash使用Ruby开发,在AIX部署ruby,我不知道是否可以,最后,logstash使用正则表达式来解析数据,正则表达式不容易增加逻辑处理,而且即使不太复杂的正则表达式,读起来也是天书。
IBM日志采集采用无代理方式,数据解析采用灵活多样的方式,可以避免日志采集和解析的一些缺点。
Splunk是美国做日志搜索分析的工具软件,但有以下不足:
Splunk使用私有的Search Processing Language (SPL) 做日志搜索分析,用户需要使用SPL写脚本程序,使用门槛比较高;Splunk在日志检索阶段抽取日志里的关键字段,检索速度慢,性能较差;Splunk价格较贵。全球最具权威的IT研究与顾问咨询公司Gartner在2014年7月18日的Splunk市场研究报告《Vendor Insight: Splunk, Separating Hype From Reality》里提到用户对Splunk的抱怨:
"Splunk does no parsing of data before it comes into the system, providing for the most flexibility to the user, but not always the most highly performing system." "Gartner clients do complain regularly about performance as the system grows."
"Splunk Enterprise is priced based on the volume of data coming into the product per day. Linking licensing fees to data volume is the most common complaint of Gartner clients and is limiting the use cases for Splunk within many organizations."
日志易相比Splunk的优势:
使用简单的查询语法,通过用户图形界面实现各种统计分析功能,简单易用,用户上手快;日志进入系统后,就抽取关键字段并做索引,检索时直接查询这些关键字段,速度非常快;价格比Splunk便宜;日志易在北京、深圳有研发团队,可结合国内用户的使用场景,开发完全满足国内用户需求的产品。收起目前国内在日志管理与分析领域已经涌现了许多优秀的企业和产品,大多数在功能上都能够满足日常的日志管理与分析需求。
上海全应科技的“全应日志管理与分析”就是其中的佼佼者,提供从日志采集、存储到监控、搜索、分析的一站式日志解决方案。而且将专家知识集成到产品中,极大降低了日志管理和分析的门槛。规避了一些日志分析产品使用复杂,上手困难的问题。
收起根据Gartnet的分析报告,ITOA是统一的、一站式的大数据收集和分析系统,从技术层面需要具备以下四个功能子系统:
数据收集子系统——需要支持对服务器、应用、网络、存储、虚拟机的数据收集;
基于非关系型的、支持巨量存储的、高度分布式的数据库;
数据分析引擎系统;
展现层。
目前市场是日志分析主要有splunk、Sumo Logic、loggly、logentries、日志易、biglog、日志宝。那到底哪个产品更适合我们去使用?我们从数据源种类、数据采集识别、日志搜索、页面采集及支持的版本进行比较。
数据源:
splunk | Sumo Logic | loggly | logentries | 日志易 | biglog | 日志宝 | |
结构化数据 | √ | ||||||
WEB 服务 | √ | √ | √ | √ | √ | √ | √ |
中间件 | √ | √ | √ | √ | √ | √ | √ |
数据库服务 | √ | √ | √ | √ | √ | √ | √ |
网络和安全 | √ | √ | √ | √ | √ | √ | √ |
操作系统 | √ | √ | √ | √ | √ | √ | √ |
云 | √ | √ | √ | √ | |||
虚拟化 | √ | ||||||
流式text日志数据 | √ | √ | √ | √ | √ | ||
文件上传 | √ | √ | √ | √ | √ | ||
text文件监控 | √ | √ | √ | √ | √ | √ |
数据收集、识别:
splunk | Sumo Logic | loggly | logentries | 日志易 | biglog | 日志宝 | |
本地agent | √ | √ | √ | √ | √ | √ | √ |
文件上传 | √ | √ | √ | √ | |||
协议收集 | √ | √ | √ | ||||
插件收集 | √ | √ | √ | √ | |||
格式识别 | √ | √ | |||||
日志分组管理 | √ | √ | √ | √ | √ | √ | |
SAAS版 | √ | √ | √ | √ | √ | ||
企业版 | √ | √ | √ |