传统数仓很多用oracle做的,现在想转入大数据平台,有什么好的迁移规划方案,以及迁移可能遇到的问题,谢谢!
1、数据仓库无论是用oracle,还是其他数据库,此类型的数据转入大数据平台都有个ETL的过程,将数据统一存放在HDFS分布式文件系统中,上层则借助于Hive构建数据仓库,用于离线数据跑批计算,Hbase,用于支持数据高并发在线查询和非结构化数据的对象存储来满足前段的应用分析需求2、可以利用数据仓库中原有的数据共享交换平台,实时将数据推送到共享平台,例如Sqoop数据导入结构化数据,利用Flume和Kafka对非结构化类数据进行采集并将之转为结构化数据落地HDFS进行存储
关于TWT使用指南社区专家合作厂商入驻社区企业招聘投诉建议版权与免责声明联系我们 © 2024talkwithtrend — talk with trend,talk with technologist京ICP备09031017号-30