spark
spark
Spark是UC Berkeley AMP lab (加州大学伯克利分校的AMP实验室)所开源的类Hadoop MapReduce的通用并行框架,Spark,拥有Hadoop MapReduce所具有的优点;但不同于MapReduce的是Job中间输出结果可以保存在内存中,从而不再需要读写HDFS,因此Spark能更好地适用于数据挖掘与机器学习等需要迭代的MapReduce的算法。Spark 是一种与 Hadoop 相似的开源集群计算环境,但是两者之间还存在一些不...(more)
Spark是UC Berkeley AMP lab (加州大学伯克利分校的AMP实验室)所开源的类Hadoop MapReduce的通用并行框架,Spark,拥有Hadoop MapReduce所具有的优点;但不同于MapReduce的是Job中间输出结果可以保存在内存中,从而不再需要读写HDFS,因此Spark能更好地适用于数据挖掘与机器学习等需要迭代的MapReduce的算法。Spark 是一种与 Hadoop 相似的开源集群计算环境,但是两者之间还存在一些不同之处,这些有用的不同之处使 Spark 在某些工作负载方面表现得更加优越,换句话说,Spark 启用了内存分布数据集,除了能够提供交互式查询外,它还可以优化迭代工作负载。

热点

spark·2022-03-25
airstuky某金融银行 擅长领域:数据库, 云计算, 服务器
10 会员关注
收藏1
金币2
spark·2021-09-15
airstuky某金融银行 擅长领域:数据库, 云计算, 服务器
10 会员关注
收藏3
金币4
spark·2021-09-22
qiwuting某车企单位 擅长领域:云计算, 服务器, 容器
33 会员关注
收藏2
金币3
spark·2021-09-22
qiwuting某车企单位 擅长领域:云计算, 服务器, 容器
33 会员关注
收藏1
金币3
spark·2021-10-11
乃伊组特制造 擅长领域:云计算, 容器, 容器云
43 会员关注
收藏1
评价1
金币3
spark·2021-08-27
qiwuting某车企单位 擅长领域:云计算, 服务器, 容器
33 会员关注
收藏2
评价1
金币1
spark·2021-08-27
qiwuting某车企单位 擅长领域:云计算, 服务器, 容器
33 会员关注
收藏1
金币1
spark·2020-09-25
努力呀XX 擅长领域:数据库, 服务器, 云计算
48 会员关注
收藏1
评价1
金币1
spark·2019-08-15
匿名用户
收藏1
评价10
金币1
生活生产服务其它spark·2019-04-10
左右ex-IBM 擅长领域:大数据, 商业智能, 联机分析处理
27 会员关注
关注一下同时补充一些背景,这块我参与的比较深所以有一些观点刚好也借此机会跟同行们讨论一下。首先是BI层由于存在自主分析的需求,所以聚合结果或者临时表这种方式业务上不可行,客户常见的分析维度经过多轮筛选依旧在70+个,且个人认为随着产品更加扁平维度会以标签的形式扩...

描述

Spark是UC Berkeley AMP lab (加州大学伯克利分校的AMP实验室)所开源的类Hadoop MapReduce的通用并行框架,Spark,拥有Hadoop MapReduce所具有的优点;但不同于MapReduce的是Job中间输出结果可以保存在内存中,从而不再需要读写HDFS,因此Spark能更好地适用于数据挖掘与机器学习等需要迭代的MapReduce的算法。Spark 是一种与 Hadoop 相似的开源集群计算环境,但是两者之间还存在一些不...(more)
Spark是UC Berkeley AMP lab (加州大学伯克利分校的AMP实验室)所开源的类Hadoop MapReduce的通用并行框架,Spark,拥有Hadoop MapReduce所具有的优点;但不同于MapReduce的是Job中间输出结果可以保存在内存中,从而不再需要读写HDFS,因此Spark能更好地适用于数据挖掘与机器学习等需要迭代的MapReduce的算法。Spark 是一种与 Hadoop 相似的开源集群计算环境,但是两者之间还存在一些不同之处,这些有用的不同之处使 Spark 在某些工作负载方面表现得更加优越,换句话说,Spark 启用了内存分布数据集,除了能够提供交互式查询外,它还可以优化迭代工作负载。
X社区推广
  • 提问题