系统集成

splunk与elk市场份额占有及实时性、数据二次处理展现及后期维护

1、目前splunk与elk在市场的占有份额是怎样的。2、在实时性上,splunk与elk上是如何实现的。3、对数据格式的二次处理各工具都是如何实现的。4、针对elk以及Saprk、Hadoop的维护难度及技术支持如何实现...显示全部

1、目前splunk与elk在市场的占有份额是怎样的。

2、在实时性上,splunk与elk上是如何实现的。

3、对数据格式的二次处理各工具都是如何实现的。

4、针对elk以及Saprk、Hadoop的维护难度及技术支持如何实现

收起
参与8

查看其它 1 个回答xingsd163的回答

xingsd163xingsd163IT顾问某IT公司

Splunk是商业系统,而且价格并不便宜,因此,在市场份额上无法与ELK相对比。
除此之外,ELK与Splunk相差还很远。两者不是一个重量级。

Splunk 和 Elastic Stack 都是准实时的系统,都是基于搜索引擎来实现的,但实现方式有所不同。Splunk是基于 Schema on Read模式,数据原样存储,在
数据进入时不执行标准化(不拆分字段),而 Elastic Stack 是基于 Elasticsearch,它是 Schema on Write 模式,在数据进入时要拆分字段。两种模式
各有优缺点,但毫无疑问的是,面对各种类型的日志,Splunk的Schema on Read 是最合适的。Elastic Stack 为了后续分析方便必须事先拆分字段,导致的
问题就是,无法原样存储日志,无法提取就只能抛弃,导致数据不全,不满足安全监管需求。解决方案就是,保存两份数据,ES 一份,Hadoop一份。

Splunk提供了专用搜索语言SPL,语法上类似SQL,非常方便。而ES 只有REST API。这在用户体验上差异非常之大。利用SPL,我们可以分析数据,格式化数据、
对数据处理转换之后可以利用Splunk提供的App存储到 RDBMS或Hadoop中,而且Splunk的数据导出接口有很多种。

关于维护,如果你每天有50GB的系统和业务日志要处理分析,尤其是面临不断变化的各种分析场景,Splunk无疑是需要人员最少且成本最低的,
ELK次之,Spark&Hadoop成本和技术要求最高。

系统集成 · 2017-06-02
浏览4150

回答者

xingsd163
IT顾问某IT公司
擅长领域: 系统运维安全大数据

xingsd163 最近回答过的问题

回答状态

  • 发布时间:2017-06-02
  • 关注会员:4 人
  • 回答浏览:4150
  • X社区推广