如何进行银行日志分析系统的系统方案设计？有哪些具体的设计内容？

现阶段我们常说的日志分析系统更多的是说的实时日志分析系统，随着开源的日志分析套装ELK的出现，实际上我们实时日志分析系统基本系统方案已经固化了，实时的日志分析系统需要具有分布式日志采集模块、日志处理模块、日志存储模块、日志服务模块、日志可视化模块。

1 . 日志采集模块日志的源头，一般来自于各个业务的日志服务器（例如网站的浏览行为日志、订单的修改日志等），这些日志需要被实时采集到日志中间件中，供下游实时订阅使用。

2 . 日志处理模块日志被采集到中间件中后，需要下游实时订阅日志，并拉取到流式计算系统的任务中进行加工处理。这里需要提供流计算引擎以支持流式任务的执行。

3 . 日志存储模块日志被实时加工处理（比如聚合、清洗等）后，会写到某个在线服务的存储系统中，供下游调用方使用。这里的写操作是增量操作，并且是源源不断的。

4 . 日志服务模块在存储系统上会架设一层统一的日志服务层（比如提供HSF 接口、HTTP 服务等），用于获取实时计算结果。

5 .可视化模块可视化模块又是在服务模块之上，可以对获取到的实时计算结果进行展示，方便对日志的监控以及告警等。