不安装agent和实时需求之间是有一定权衡取舍的。比如说scp、rsync这些命令,其实也算是一种agent(sshd和rsyncd)。用Perl之类服务器自带脚本语言写一个daemon实时传日志,这个daemon也是一种agent。所以在有实时需求的时候,
最重要的是选一个本身就方便横向扩展的分布式架构。靠纵向扩展,CPU、IOPS等等总是有上限的。但是横向扩展就比较方便了。
看了一眼题主的描述。仅指『系统日志』的话,完全可以配置一下syslog对外转发,外部UDP、TCP接收转发出来的日志即可。毕竟rsyslogd是默认程序,转不转发都要运行的,不算额外负载,对吧~性能方面完全放心,我在新浪微博做日志系
这个问题太宽泛了吧。hadoop、spark、elk,所有技术都可以做到。关键还是看你的需求偏向。
一般来说,安装一个agent会比较方便。如果不方便安装agent的,那么通过log4j的socketappender啊,syslog的远程转发啊,也是可以直接远程收集的。采用日志方式,而不是apm等方式,优势就是对应用本身没什么影响。记日志是顺序写,读
哈哈,替楼上补充一点:Splunk也是提供agent采集的。logstash用的是JRuby,不过实现不是很通用,在AIX上的JVM上确实跑不起来。不过logstash的Grok正则扩展倒是解决了一点读起来像天书的问题~
在互联网界,ELK基本已经成为运维标配工具了。实时性上,二者是一致的。对数据格式的二次处理,splunk是在indexing time索引少量字段,search time动态提取需要用到字段;ELK是在indexing之前提取好全部字段,search的时候直接使
如果说设计考虑,那应该首先考虑是否有比较好的接口抽象,这样至少有了联动的可能性。然后来说,就是看看你上日志分析平台的目的,根据目的不同,日志平台的联动对象可能偏向告警、可能偏向配置管理、可能偏向报表。
ELK中完成日志格式提取的主要是Logstash部分,支持各种filter,最主要的是正则表达式,其次常用的有KV切割等。Logstash的正则表达式在标准正则表达式基础上扩展了Grok方式,就是可以预定义一些复杂正则模式,然后后续可以直接
关于TWT使用指南社区专家合作厂商入驻社区企业招聘投诉建议版权与免责声明联系我们 © 2024 talkwithtrend — talk with trend,talk with technologist京ICP备09031017号-30