数据引擎分析,hadoop和spark 如何选择?

hadoop和spark 如何选择?现在一般公司都用hadoop的hdfs进行存储,用spark做数据引擎分析。也有用mapreduce分析的。这2个怎么选择呢?显示全部

hadoop和spark 如何选择?

现在一般公司都用hadoop的hdfs进行存储,用spark做数据引擎分析。也有用mapreduce分析的。这2个怎么选择呢?

收起
参与25

查看其它 3 个回答美国队长的回答

美国队长美国队长研发工程师Alibaba

mapreduce适用于数据量比较大这个跟其底层的实现有关因为他并不是完全依赖于内存,而spark拼的就是内存,如果响应速度要快而且数据量不是很大的时候,可以考虑使用spark,

互联网行业中一般离线的数据会考虑MR去跑,实时采用spark

互联网服务 · 2015-10-14
浏览1789
  • 请教一个问题,如果数据量大,是不是Spark就不适合,或者说适合,要看配多少内存,如一次分析20TB数据,但是MR的shuffle的效率问题是个硬伤啊。
    2015-10-15

回答者

美国队长
研发工程师Alibaba
擅长领域: 大数据大数据平台数据库

美国队长 最近回答过的问题

回答状态

  • 发布时间:2015-10-14
  • 关注会员:5 人
  • 回答浏览:1789
  • X社区推广