如果券商生产系统的数据是实时同步给大数据库平台的,采用的什么架构和技术? 例如湖仓一体?

如果券商生产系统的数据是实时同步给大数据库平台的,1、生产系统各种类型数据库采用的什么技术实现同步的?=2、数据汇集是采用类似KAFKA的流技术保存的么?3、现在业务对实时性要求越来越高,该方案在湖仓一体方面 有何布局?...显示全部

如果券商生产系统的数据是实时同步给大数据库平台的,
1、生产系统各种类型数据库采用的什么技术实现同步的?=
2、数据汇集是采用类似KAFKA的流技术保存的么?
3、现在业务对实时性要求越来越高,该方案在湖仓一体方面 有何布局?

收起
参与11

查看其它 2 个回答guoxilin的回答

guoxilinguoxilin高级非功能测试专家某科技公司

比如可以实时数据通过Debezium从业务系统采集,由kafka进行实时存储消费、并经过flink等实时集群计算后,存储在Hbase、clickHouse等高性能平台。对于批量数据,将通过Sqoop实时从数据仓库或各应用平台,批量同步到数据中台。

互联网服务 · 2022-03-13
浏览744

回答者

guoxilin
高级非功能测试专家某科技公司
擅长领域: 服务器数据库云计算

guoxilin 最近回答过的问题

回答状态

  • 发布时间:2022-03-13
  • 关注会员:4 人
  • 回答浏览:744
  • X社区推广