如果券商生产系统的数据是实时同步给大数据库平台的,1、生产系统各种类型数据库采用的什么技术实现同步的?=2、数据汇集是采用类似KAFKA的流技术保存的么?3、现在业务对实时性要求越来越高,该方案在湖仓一体方面 有何布局?
比如可以实时数据通过Debezium从业务系统采集,由kafka进行实时存储消费、并经过flink等实时集群计算后,存储在Hbase、clickHouse等高性能平台。对于批量数据,将通过Sqoop实时从数据仓库或各应用平台,批量同步到数据中台。
关于TWT使用指南社区专家合作厂商入驻社区企业招聘投诉建议版权与免责声明联系我们 © 2024talkwithtrend — talk with trend,talk with technologist京ICP备09031017号-30