spark是否在选择服务器时需要大容量内存?

spark对于内存操作要大于hadoop,是否在选择服务器时需要大容量内存?是不是相同服务器型号时,spark内存使用会更高?

参与6

3同行回答
全部行业
全部行业 互联网服务 IT咨询服务
|
按赞同排序
按时间排序

北京荣歆咨询系统架构师北京荣歆咨询有限公司

spark是一种内存计算技术。随着硬件技术发展内存价格下降，现在采用大内存的技术越来越多，比如HANA，DB2 BLU等都需要配置大内存。收起

IT咨询服务 · 2015-06-15

jy00810061系统运维工程师chinaunicom

回复 2# tongxiaojun

如果使用Spark架构,是不是优先考虑物理内存的配置收起

互联网服务 · 2015-06-04

tongxiaojun技术总监北京红象云腾系统技术有限公司

Spark 大量使用内存做中间结果优化，需要消耗大量内存。一般需要配置 128G 内存。其实MapReduce在Sort 过程中也需要消耗内存。Hbase 的memstore模块更使使用内存作为HDSF文件系统文件缓冲。NameNode 使用内存作为元数据存储快速响应。收起

互联网服务 · 2015-06-04