大数据下数据抽取sqoop/mapreduce下数据倾斜的解决方式。

sqoop抽取数据,在split的时候,表中没有合适的字段进行切分,导致部分map任务非常的慢。

mapreduce的时候,比如按发卡行+商户进行数据统计时也会产生数据倾斜。如何用比较简的方式解决问题。
参与5

1同行回答

wanglkwlwanglkwl研发工程师HG
不要用sqoop....不适用,且麻烦。。显示全部
不要用sqoop....不适用,且麻烦。。收起
IT咨询服务 · 2015-08-25
浏览764

提问者

yayain
数据仓库工程师UNION PAY
擅长领域: 大数据商业智能

问题来自

相关问题

相关资料

问题状态

  • 发布时间:2015-08-25
  • 关注会员:4 人
  • 问题浏览:5310
  • 最近回答:2015-08-25
  • X社区推广