DB2/ORACLE数据迁移至大数据平台数据库(如hadoop)有何经验或者步骤?

上面的问题可能是今后很有可能遇到的问题,以前OLAP型数据库可能跑在了DB2或者ORACLE上,但OLAP目前来说可能随着数据量越来越大,并发越来越高,可能DB2或者ORACLE某些方面并不能胜任,再加上现在分布式数据库、分布式应用如火如荼,那么如果真要进行数据库数据迁移,由DB2/ORACLE迁移至大数据平台数据库,有哪些方法或工具可供选择?迁移过程中需要注意的点有哪些?

4回答

冯帅冯帅  数据库管理员 , 点融网
tiehx邓毓科比之圣等赞同了此回答
通过使用MapReduce的方式,使Hadoop可以直接访问Oracle,并将相关的数据写入到HDFS文件当中。 从而可以顺利地将Oracle中的数据迁移到Hadoop文件系统中。显示全部

通过使用MapReduce的方式,使Hadoop可以直接访问Oracle,并将相关的数据写入到HDFS文件当中。 从而可以顺利地将Oracle中的数据迁移到Hadoop文件系统中。

收起
 2017-04-21
美国队长美国队长  研发工程师 , Alibaba
邓毓aixkevin赞同了此回答
网上直接搜阿里开源同步框架Datax,同步的神器,呵呵显示全部

网上直接搜阿里开源同步框架Datax,同步的神器,呵呵

收起
 2017-04-21
bigdata_userbigdata_user  软件开发工程师 , 博彦科技
tiehx邓毓赞同了此回答
之前使用的sqoop可以用下,直接将数据导入到hdfs和hive,在hive中创建数据库中对应的database和table,可以尝试下kettle,这个没用过,不够听说挺好的,比较好控制显示全部

之前使用的sqoop可以用下,直接将数据导入到hdfs和hive,在hive中创建数据库中对应的database和table,

可以尝试下kettle,这个没用过,不够听说挺好的,比较好控制

收起
 2017-04-22
bendshabendsha  研发工程师 , 上海爱数信息技术股份有限公司
tiehx邓毓赞同了此回答
不求无缝迁移的话,这些工具也够用了,测试发现:DataX效率是最高的,Sqoop次之,Kettle再次之,但Kettle有个优点,有强大的图形操作界面,对于习惯图形化操作的管理员来说,操作起来是最方便的。...显示全部

不求无缝迁移的话,这些工具也够用了,测试发现:DataX效率是最高的,Sqoop次之,Kettle再次之,但Kettle有个优点,有强大的图形操作界面,对于习惯图形化操作的管理员来说,操作起来是最方便的。

收起
 2017-04-24

提问者

邓毓系统工程师, 江西农村信用社联合社
相关推广

  • 《海通证券HADR应用经验分享》
    主要介绍了海通证券HADR在高可用、灾难备份、读写分离方面的具体应用和参数配置、HADR错误处理方式等方面的实践经验。并介绍了企业实践中遇到的HADR的造成的日志操作速度降低、切换后HADR关系丢失等不利影响。
  • 《某银行跨数据中心的数据库双活及灾备建设经验分享》
    主要介绍了数据库双活的技术优势,并对ESE、DPF、DB2 pureScale三种技术进行了详细对比。同时阐述了双中心并重的双活业务模式、开放平台通用架构的创新项目实现方式,并总结了如何解决同城网络闪断数据库hang问题、如何解决热点索引等6个核心问题的最佳实践经验。
  • 问题状态

  • 发布时间:2017-04-21
  • 关注会员:5 人
  • 问题浏览:3614
  • 最近回答:2017-04-24
  • 关于TWT  使用指南  社区专家合作  厂商入驻社区  企业招聘  投诉建议  版权与免责声明  联系我们
    © 2017 talkwithtrend — talk with trend,talk with technologist 京ICP备09031017号-30