请问一下,在内存计算的使用上,大家都采用什么模式呢?

1、、在内存计算这方面,请问一下大家使用Spark Standalone模式,还是On Yarn模式呢?或者使用其他什么模式?
2、使用Hive on Spark 较多呢?还是直接使用Spark SQL直接处理问题呢?

2回答

rein07rein07  系统架构师 , 某证券
spring_cuigossipyboy江南无烟雨等赞同了此回答
应该是spark on yarn多些,基于yarn的任务管理方便,且有助于资源的统一管理。 2、spark sql比hive sql要新一点,两者都可以使用,像我们更多的是直接使用spark core,还是看场景吧。 显示全部
  1. 应该是spark on yarn多些,基于yarn的任务管理方便,且有助于资源的统一管理。 2、spark sql比hive sql要新一点,两者都可以使用,像我们更多的是直接使用spark core,还是看场景吧。
收起
 2017-07-04
浏览1910
美国队长美国队长  研发工程师 , Alibaba
cnsdlyweigossipyboy赞同了此回答
spark on yarn 因为目前而言yarn在资源管理方面还是能够接受的,虽然也或多或少有些问题 hive on spark 跟spark sql,都是基于spark引擎来做数据计算的,hive on spark多了一层hive解析,而spark sql直接利用spark框架进行分析计算...显示全部

spark on yarn 因为目前而言yarn在资源管理方面还是能够接受的,虽然也或多或少有些问题

hive on spark 跟spark sql,都是基于spark引擎来做数据计算的,hive on spark多了一层hive解析,而spark sql直接利用spark框架进行分析计算

收起
 2017-07-04
浏览683

提问者

heraleign网站架构师, iwhalecloud

问题状态

  • 发布时间:2017-07-04
  • 关注会员:4 人
  • 问题浏览:4307
  • 最近回答:2017-07-04
  • 关于TWT  使用指南  社区专家合作  厂商入驻社区  企业招聘  投诉建议  版权与免责声明  联系我们
    © 2019  talkwithtrend — talk with trend,talk with technologist 京ICP备09031017号-30