从传统数仓向大数据平台迁移的规划?

传统数仓很多用oracle做的,现在想转入大数据平台,有什么好的迁移规划方案,以及迁移可能遇到的问题,谢谢!显示全部

传统数仓很多用oracle做的,现在想转入大数据平台,有什么好的迁移规划方案,以及迁移可能遇到的问题,谢谢!

收起
参与9

查看其它 1 个回答sxtycxx的回答

sxtycxxsxtycxx  解决方案经理 , 人工智能(计算机视觉)

1、数据仓库无论是用oracle,还是其他数据库,此类型的数据转入大数据平台都有个ETL的过程,将数据统一存放在HDFS分布式文件系统中,上层则借助于Hive构建数据仓库,用于离线数据跑批计算,Hbase,用于支持数据高并发在线查询和非结构化数据的对象存储来满足前段的应用分析需求
2、可以利用数据仓库中原有的数据共享交换平台,实时将数据推送到共享平台,例如Sqoop数据导入结构化数据,利用Flume和Kafka对非结构化类数据进行采集并将之转为结构化数据落地HDFS进行存储

互联网服务 · 2018-12-28
浏览3200

回答者

sxtycxx
解决方案经理人工智能(计算机视觉)
擅长领域: 存储灾备服务器

sxtycxx 最近回答过的问题

回答状态

  • 发布时间:2018-12-28
  • 关注会员:3 人
  • 回答浏览:3200
  • X社区推广