从传统数仓向大数据平台迁移的规划?

传统数仓很多用oracle做的,现在想转入大数据平台,有什么好的迁移规划方案,以及迁移可能遇到的问题,谢谢!

参与9

2同行回答

sxtycxxsxtycxx 解决方案经理人工智能(计算机视觉)
1、数据仓库无论是用oracle,还是其他数据库,此类型的数据转入大数据平台都有个ETL的过程,将数据统一存放在HDFS分布式文件系统中,上层则借助于Hive构建数据仓库,用于离线数据跑批计算,Hbase,用于支持数据高并发在线查询和非结构化数据的对象存储来满足前段的应用分析需求2、可以...显示全部

1、数据仓库无论是用oracle,还是其他数据库,此类型的数据转入大数据平台都有个ETL的过程,将数据统一存放在HDFS分布式文件系统中,上层则借助于Hive构建数据仓库,用于离线数据跑批计算,Hbase,用于支持数据高并发在线查询和非结构化数据的对象存储来满足前段的应用分析需求
2、可以利用数据仓库中原有的数据共享交换平台,实时将数据推送到共享平台,例如Sqoop数据导入结构化数据,利用Flume和Kafka对非结构化类数据进行采集并将之转为结构化数据落地HDFS进行存储

收起
互联网服务 · 2018-12-28
浏览3259
michael1983michael1983联盟成员技术总监某证券
大数据平台厂商可以提供完整的数据迁移方案,时间窗口够的话,迁移相对不难显示全部

大数据平台厂商可以提供完整的数据迁移方案,时间窗口够的话,迁移相对不难

收起
证券 · 2018-12-31
浏览3016

提问者

haikuo81
技术总监某头部消费金融公司
擅长领域: 云计算容器存储

问题来自

相关问题

相关资料

相关文章

问题状态

  • 发布时间:2018-12-28
  • 关注会员:3 人
  • 问题浏览:4312
  • 最近回答:2018-12-31
  • X社区推广