关于阿里的同步工具Datax

简单介绍一下阿里的Datax

1回答

美国队长美国队长  研发工程师 , Alibaba
aixkevin赞同了此回答
https://github.com/alibaba/DataX/wiki/DataX-all-data-channels这个是Datax的官网可以看一下我简单介绍一下,datax支持从oracle mysql,postgresql,hdfs等相互之间同步,他只需要你配置一个json文件,这个json文件的格式就是在我刚刚发的url中,最后利用datax的框架执行一个pytho...显示全部

https://github.com/alibaba/DataX/wiki/DataX-all-data-channels

这个是Datax的官网可以看一下

我简单介绍一下,datax支持从oracle mysql,postgresql,hdfs等相互之间同步,他只需要你配置一个json文件,这个json文件的格式就是在我刚刚发的url中,最后利用datax的框架执行一个python 命令就能把数据给同步了,为啥要介绍他呢不建议使用sqoop呢,一个是sqoop比较笨重其实说白了他就是jdbc进行读写,但是datax中间有个环形缓存多进程模式,这样确保了数据同步的效率

收起
 2017-04-21

提问者

美国队长研发工程师, Alibaba

问题状态

  • 发布时间:2017-04-21
  • 关注会员:1 人
  • 问题浏览:515
  • 最近回答:2017-04-21
  • 关于TWT  使用指南  社区专家合作  厂商入驻社区  企业招聘  投诉建议  版权与免责声明  联系我们
    © 2017 talkwithtrend — talk with trend,talk with technologist 京ICP备09031017号-30