在银行日志分析系统项目中，日志处理模块怎么设计？

大体架构：

Agent --->Kafka--->REGEX--->index --->Search

根据上面的架构说下为什么，需要考虑那方面问题

接入层面
Agent

1. 不能占太多资源
2. 效率高
3. 功能强大
4. 配置简单

数据缓存
kafka

1. 必须有，如果数据量猛增，会将后面压死
2. 后端集群可以随意调节
3. 可以将数据吐向别处

数据清洗
REGEX
这一步需要将数据进行提取。增减一些我们指定的字段。

数据入库
index

2. 清洗完成之后要入库，甭管 ES、solr、还是其他的程序，首要就是迅速

数据搜索
Search

1. 搜索迅速
2. 语法简单

3. 展现方式多种多样

   ----
   额外功能

   现在挺火的智能运维、AIOps得上啊

说说有啥程序可以实现吧。

开源版：

1. ELK，小企业玩玩可以，大企业的如果用他真的需要费点力气。
2. solr 没见有人用过

3. Hadoop 如果用他就不只是日志了吧。。。

   企业版：

4. 日志易
5. splunk
6. 其他厂商