spark
spark
Spark是UC Berkeley AMP lab (加州大学伯克利分校的AMP实验室)所开源的类Hadoop MapReduce的通用并行框架,Spark,拥有Hadoop MapReduce所具有的优点;但不同于MapReduce的是Job中间输出结果可以保存在内存中,从而不再需要读写HDFS,因此Spark能更好地适用于数据挖掘与机器学习等...(more)
Spark是UC Berkeley AMP lab (加州大学伯克利分校的AMP实验室)所开源的类Hadoop MapReduce的通用并行框架,Spark,拥有Hadoop MapReduce所具有的优点;但不同于MapReduce的是Job中间输出结果可以保存在内存中,从而不再需要读写HDFS,因此Spark能更好地适用于数据挖掘与机器学习等需要迭代的MapReduce的算法。Spark 是一种与 Hadoop 相似的开源集群计算环境,但是两者之间还存在一些不同之处,这些有用的不同之处使 Spark 在某些工作负载方面表现得更加优越,换句话说,Spark 启用了内存分布数据集,除了能够提供交互式查询外,它还可以优化迭代工作负载。
  • 535
    主题声望
    回答135
    文章7
    赞同224
  • 405
    主题声望
    windix蚂蚁金服
    回答15
    文章2
    赞同91
  • 180
    主题声望
    rein07某证券
    回答130
    文章5
    赞同463
  • 135
    主题声望
    回答45
    文章0
    赞同59
  • 105
    主题声望
    heraleigniwhalecloud
    回答21
    文章1
    赞同26
  • 80
    主题声望
    北京荣歆咨询北京荣歆咨询有限公司
    回答383
    文章5
    赞同89
  • 75
    主题声望
    cys866上海优铭云计算有限公司
    回答0
    文章1
    赞同7
  • 65
    主题声望
    左右ex-IBM
    回答118
    文章2
    赞同171
  • 60
    主题声望
    lxcorange某券商
    回答33
    文章0
    赞同75
  • 55
    主题声望
    haichuan0227新浪云计算
    回答140
    文章3
    赞同192