注册登录
提 问
English中文版
银行数据同步大数据平台容器云容器云平台湖仓一体

如果券商生产系统的数据是实时同步给大数据库平台的，采用的什么架构和技术？ 例如湖仓一体？

如果券商生产系统的数据是实时同步给大数据库平台的，
1、生产系统各种类型数据库采用的什么技术实现同步的？=
2、数据汇集是采用类似KAFKA的流技术保存的么？
3、现在业务对实时性要求越来越高，该方案在湖仓一体方面 有何布局？

关注4
评论
参与11

3同行回答
|
按赞同排序
按时间排序

zhanxuechaozhanxuechao咨询专家数字研究院
有如下几个方案吧：首推FlinkCDC其次就是比较典型的：mysql的binlog -> Canal -> Kafka -> Flink/Spark -> Hive/KuduOracle的redolog -> Ogg -> Kafka -> Flink/Spark -> Hive/Kudu显示全部

有如下几个方案吧：
首推FlinkCDC
其次就是比较典型的：
mysql的binlog -> Canal -> Kafka -> Flink/Spark -> Hive/Kudu
Oracle的redolog -> Ogg -> Kafka -> Flink/Spark -> Hive/Kudu

收起
IT咨询服务 · 2021-12-09
浏览1142
查看赞同的人
评论
chaohuichaohui院长天好
hudi 在实时计算、流批分析等架构集成上做的很好。虽然目前还未到1.0版本，可以关注。显示全部

hudi 在实时计算、流批分析等架构集成上做的很好。虽然目前还未到1.0版本，可以关注。

收起
软件开发 · 2021-12-09
浏览1034
查看赞同的人
评论
guoxilinguoxilin高级非功能测试专家某科技公司
比如可以实时数据通过Debezium从业务系统采集，由kafka进行实时存储消费、并经过flink等实时集群计算后，存储在Hbase、clickHouse等高性能平台。对于批量数据，将通过Sqoop实时从数据仓库或各应用平台，批量同步到数据中台。...显示全部

比如可以实时数据通过Debezium从业务系统采集，由kafka进行实时存储消费、并经过flink等实时集群计算后，存储在Hbase、clickHouse等高性能平台。对于批量数据，将通过Sqoop实时从数据仓库或各应用平台，批量同步到数据中台。

收起
互联网服务 · 2022-03-13
浏览742
评论

问题来自

  • 活动 - 券商大数据平台如何基于容器云实现经济业务和投行业务等加速智能化和数字化？

    • 相关问题

  • 在现有监控系统下，如何进行容器云应用监控实施？
  • 银行业信创云平台是否可配套提供容器服务能力，是否同时兼容海光、鲲鹏、Intel三种芯片，是否提供维护？
  • 目前容器云存储除了NAS和对象存储常见场景外，SAN存储在银行使用情况？
  • PG数据库如何实现同城异地多活数据同步？
  • 金融行业中，有哪些系统已经应用了容器化数据库？

    • 相关资料

  • 2021 容器云职业技能大赛团队赛亚军作品——金融行业容器平台建设方案
  • 2021 容器云职业技能大赛团队赛冠军作品——适用于大中型银行的云原生技术体系建设方案
  • 2021 容器云职业技能大赛团队赛优秀作品——银行全场景容器云平台建设方案
  • 魅族容器云平台基于 k8s 的自动化运维实践
  • 大数据湖体系规划与建设方案

    • 相关文章

  • 基于国产全闪NAS存储建设高可用和高性能的云原生平台实践
  • 某汽车制造业生产容器云平台建设与应用迁移经验分享
  • 金融企业容器云平台存储选型分析
  • 容器云安全现状分析和发展趋势
  • 容器云多集群环境下如何实践 DevOps

    • 问题状态

  • 发布时间：2021-12-07
  • 关注会员：4 人
  • 问题浏览：2044
  • 最近回答：2022-03-13

    • 关于TWT使用指南社区专家合作厂商入驻社区企业招聘投诉建议版权与免责声明联系我们
    © 2024talkwithtrend — talk with trend,talk with technologist京ICP备09031017号-30

    X社区推广