请问一下,在内存计算的使用上,大家都采用什么模式呢?

1、、在内存计算这方面,请问一下大家使用Spark Standalone模式,还是On Yarn模式呢?或者使用其他什么模式?
2、使用Hive on Spark 较多呢?还是直接使用Spark SQL直接处理问题呢?

参与14

2同行回答

rein07rein07  系统架构师 , 某证券
应该是spark on yarn多些,基于yarn的任务管理方便,且有助于资源的统一管理。2、spark sql比hive sql要新一点,两者都可以使用,像我们更多的是直接使用spark core,还是看场景吧。显示全部
  1. 应该是spark on yarn多些,基于yarn的任务管理方便,且有助于资源的统一管理。
    2、spark sql比hive sql要新一点,两者都可以使用,像我们更多的是直接使用spark core,还是看场景吧。
收起
证券 · 2017-07-04
浏览3650
美国队长美国队长  研发工程师 , Alibaba
spark on yarn 因为目前而言yarn在资源管理方面还是能够接受的,虽然也或多或少有些问题hive on spark 跟spark sql,都是基于spark引擎来做数据计算的,hive on spark多了一层hive解析,而spark sql直接利用spark框架进行分析计算...显示全部

spark on yarn 因为目前而言yarn在资源管理方面还是能够接受的,虽然也或多或少有些问题

hive on spark 跟spark sql,都是基于spark引擎来做数据计算的,hive on spark多了一层hive解析,而spark sql直接利用spark框架进行分析计算

收起
互联网服务 · 2017-07-04
浏览2412

提问者

heraleign
网站架构师iwhalecloud
擅长领域: 大数据大数据平台服务器

问题来自

相关问题

相关资料

问题状态

  • 发布时间:2017-07-04
  • 关注会员:4 人
  • 问题浏览:6459
  • 最近回答:2017-07-04
  • X社区推广