OGG :抽取和解析日志。做为数据的源头数据的传输:FLUME ,LOGSTASH 个人理解:FLUME更注重数据的归集和分发。LOGSTASH 更多的是数据的过滤。KAFKA:消息的订阅和发布。时时计算:SPARK-STREAMING.存储:REDIS
1.要了解你的需求,是建设传统一的ODS还是要把ODS建设到大数据平台上,现在很多都是架设到大数据平台上的。2.做银行保险ODS的国内有几家:文思海辉 中软国际
数据采集只有二种工具 OGG,CDC
OGG数据抽取和解析,KAFKA数据的传输,HBASE数据存储。这是最简单的如果需要计算一些指标,可以用SPARK-STREAMING. 特别提醒:大数据的每个组件应用的场景不一样,使用时一定要注意自己的应用场景
个人理解,实时和准实时更多的是服务于业务查询、指标、或T0的报表,数据应该不会像传统数仓那样有很多的数据,他的模型应该更简单,数据的准确性和时效性应该更重要
关于TWT使用指南社区专家合作厂商入驻社区企业招聘投诉建议版权与免责声明联系我们 © 2024 talkwithtrend — talk with trend,talk with technologist京ICP备09031017号-30