企业运营过程的日志中存在的有价值信息应该如何开发？

随着大数据技术的发展，日志分析的重要性已经凸显，我们的日志处理过程分成了几条线：
1、日志实时监控，主要用于发现日志内容中的关键信息，采取相应措施，如短信告知等。
2、日志内容分析，主要是采用实时流处理技术，将关键内容结构化，以表结构存储在hadoop中，用于后续分析。
3、无法结构化的的内容存储ES中，利用统一界面进行日志检索。