hadoop和spark 如何选择?
现在一般公司都用hadoop的hdfs进行存储,用spark做数据引擎分析。也有用mapreduce分析的。这2个怎么选择呢?
mapreduce适用于数据量比较大这个跟其底层的实现有关因为他并不是完全依赖于内存,而spark拼的就是内存,如果响应速度要快而且数据量不是很大的时候,可以考虑使用spark,
互联网行业中一般离线的数据会考虑MR去跑,实时采用spark
关于TWT使用指南社区专家合作厂商入驻社区企业招聘投诉建议版权与免责声明联系我们 © 2024talkwithtrend — talk with trend,talk with technologist京ICP备09031017号-30