实时数仓的主流技术架构及组件选型？

实时数据采集方面讲有OGG可以通过数据库日志的方式采集数据，Flume和logstash通过日志抓取数据，APM、F5等工具通过流量镜像抓取数据。
从数据加工角度来讲，有Kafka、rabbitMQ等队列进行数据接收和消费，有Storm进行流式数据计算处理。
从数据存储方面有redis、voltdb等内存数据库进行实时的数据和指标加工。
实时数据的处理结果可以异步持久化成文件，每天写成的文件可以在T+1日用于批量数据整合，这样处理批量数据的接口几乎不用特别修改，把实时数据处理当成一个批量数据源就成。