请问一下,在内存计算的使用上,大家都采用什么模式呢?

1、、在内存计算这方面,请问一下大家使用Spark Standalone模式,还是On Yarn模式呢?或者使用其他什么模式?
2、使用Hive on Spark 较多呢?还是直接使用Spark SQL直接处理问题呢?

参与14

2同行回答

美国队长美国队长研发工程师Alibaba
spark on yarn 因为目前而言yarn在资源管理方面还是能够接受的,虽然也或多或少有些问题hive on spark 跟spark sql,都是基于spark引擎来做数据计算的,hive on spark多了一层hive解析,而spark sql直接利用spark框架进行分析计算...显示全部

spark on yarn 因为目前而言yarn在资源管理方面还是能够接受的,虽然也或多或少有些问题

hive on spark 跟spark sql,都是基于spark引擎来做数据计算的,hive on spark多了一层hive解析,而spark sql直接利用spark框架进行分析计算

收起
互联网服务 · 2017-07-04
浏览2441
rein07rein07系统架构师某证券
应该是spark on yarn多些,基于yarn的任务管理方便,且有助于资源的统一管理。2、spark sql比hive sql要新一点,两者都可以使用,像我们更多的是直接使用spark core,还是看场景吧。显示全部
  1. 应该是spark on yarn多些,基于yarn的任务管理方便,且有助于资源的统一管理。
    2、spark sql比hive sql要新一点,两者都可以使用,像我们更多的是直接使用spark core,还是看场景吧。
收起
证券 · 2017-07-04
浏览3681

提问者

heraleign
网站架构师iwhalecloud
擅长领域: 大数据大数据平台服务器

问题来自

相关问题

相关资料

问题状态

  • 发布时间:2017-07-04
  • 关注会员:4 人
  • 问题浏览:6503
  • 最近回答:2017-07-04
  • X社区推广