MapReduce中combiner、partition的作用各是什么?

1回答

呱呱爱吃瓜呱呱爱吃瓜  数据仓库工程师 , 银行
(1)、 combiner有时一个 map 可能会产生大量的输出, combiner 的作用是在 map 端对输出先做一次合并,以减少网络传输到 reducer 的数量。注意: mapper 的输出为 combiner 的输入, reducer 的输入为 combiner 的输出。 (2)、 partition把 map 任务输出的中间结果按照 key 的范...显示全部

(1)、 combiner

有时一个 map 可能会产生大量的输出, combiner 的作用是在 map 端对输出先做一次合并,以减少网络传输到 reducer 的数量。

注意: mapper 的输出为 combiner 的输入, reducer 的输入为 combiner 的输出。

(2)、 partition

把 map 任务输出的中间结果按照 key 的范围划分成 R 份 (R 是预先定义的 reduce 任务的个数 ) ,划分时通常使用 hash 函数,如: hash(key) mod R

这样可以保证一段范围内的 key ,一定会由一个 reduce 任务来处理

收起
 2020-02-27
浏览148

提问者

Tamic数据库架构师, 某保险

问题状态

  • 发布时间:2020-02-26
  • 关注会员:2 人
  • 问题浏览:1112
  • 最近回答:2020-02-27