hadoop与spark的区别

hadoop和spark都是处理大数据的!他们之间有什么区别! spark的处理速度是haoop的好几倍! 是不是就不用了解hadoop,直接去学习spark
参与3

2同行回答

bamboo20131108bamboo20131108研发工程师autohome
Hadoop和spark间存在一些明显差异,在设计上,Hadoop对迭代计算支持不怎么好,spark可以将数据加载到内存进行快速的迭代计算,在计算共享上,spark的多个job间可以共享计算结果(cache、chechpoint),在shuffle过程中也存在很大差异,再变成风格上也存在一些差异,spark快主要体现在数据的...显示全部
Hadoop和spark间存在一些明显差异,在设计上,Hadoop对迭代计算支持不怎么好,spark可以将数据加载到内存进行快速的迭代计算,在计算共享上,spark的多个job间可以共享计算结果(cache、chechpoint),在shuffle过程中也存在很大差异,再变成风格上也存在一些差异,spark快主要体现在数据的重复利用上,我就是直接学的spark,不过现在有两个都学了,感觉学好一个就行啦:lol收起
互联网服务 · 2015-02-12
浏览1140
杨博杨博课题专家组IT顾问某科技公司
回复 1# cloudsher     简单的来说,spark是使用内存的hadoop,让数据运算速度更快。spark底层也是使用的mr,需要了解Hadoop,并且spark也是基于hadoop上的产品,学习建议从hadoop学起。显示全部
回复 1# cloudsher


    简单的来说,spark是使用内存的hadoop,让数据运算速度更快。

spark底层也是使用的mr,需要了解Hadoop,并且spark也是基于hadoop上的产品,学习建议从hadoop学起。收起
互联网服务 · 2015-02-12
浏览1089

提问者

cloudsher
软件开发工程师同方鼎欣技术有限公司

相关问题

相关资料

相关文章

问题状态

  • 发布时间:2015-02-12
  • 关注会员:1 人
  • 问题浏览:2745
  • 最近回答:2015-02-12
  • X社区推广