保险mapreduce

如何写Mapreduce程序?有哪些注意事项?

如何写Mapreduce程序?有哪些注意事项?

参与4

1同行回答

美国队长美国队长研发工程师Alibaba
继承Mapper跟Reducer,可以用java python等语言去实现,编写的时候主要是要结合业务场景去分析,比如你要用mapreduce去实现两个文件的关联,你得考虑关联是否出现倾斜情况,程序中数据来源该怎么区分,为了防止出现jvm的OOM,实例化的对象如果不需要进行手动释放比如List类型加个=null...显示全部

继承Mapper跟Reducer,可以用java python等语言去实现,编写的时候主要是要结合业务场景去分析,比如你要用mapreduce去实现两个文件的关联,你得考虑关联是否出现倾斜情况,程序中数据来源该怎么区分,为了防止出现jvm的OOM,实例化的对象如果不需要进行手动释放比如List类型加个=null 等,

收起
互联网服务 · 2017-07-25
浏览1115

问题来自

相关问题

相关资料

问题状态

  • 发布时间:2017-07-21
  • 关注会员:2 人
  • 问题浏览:3398
  • 最近回答:2017-07-25
  • X社区推广