实时数据采集方面讲有OGG可以通过数据库日志的方式采集数据,Flume和logstash通过日志抓取数据,APM、F5等工具通过流量镜像抓取数据。
从数据加工角度来讲,有Kafka、rabbitMQ等队列进行数据接收和消费,有Storm进行流式数据计算处理。
从数据存储方面有redis、voltdb等内存数据库进行实时的数据和指标加工。
实时数据的处理结果可以异步持久化成文件,每天写成的文件可以在T+1日用于批量数据整合,这样处理批量数据的接口几乎不用特别修改,把实时数据处理当成一个批量数据源就成。