spark是否在选择服务器时需要大容量内存?

Spark 大量使用内存做中间结果优化，需要消耗大量内存。一般需要配置 128G 内存。其实MapReduce在Sort 过程中也需要消耗内存。Hbase 的memstore模块更使使用内存作为HDSF文件系统文件缓冲。NameNode 使用内存作为元数据存储快速响应。