在企业大数据架构中,除了采用Kerberos和CDH多租户以外,还有哪些较好的权限和资源控制产品呢?

1、我们在目前项目中,搭建的Hadoop平台,因为涉及到多个厂家使用,所以想使资源的数据隔离,保证多个厂家使用的时候互不影响,我们目前采用的是Kerberos+CDH多租户,请问一下,还有哪些较好的解决方案呢?请问一下目前大的互联网公司又是怎么解决资源和数据隔离的呢?
2、在内存计算这方面,请问一下大家使用Spark Standalone模式,还是On Yarn模式呢?或者使用其他什么模式?
3、使用Hive on Spark 较多呢还是直接使用Spark SQL直接处理问题呢?

2回答

heraleignheraleign  网站架构师 , iwhalecloud
gossipyboy挚爱咖啡赞同了此回答
暂时只讨论第一个话题,内存计算和仓库计算我再单独提问,带来不便,还请谅解,谢谢!显示全部

暂时只讨论第一个话题,内存计算和仓库计算我再单独提问,带来不便,还请谅解,谢谢!

收起
 2017-07-04
浏览4673
美国队长美国队长  研发工程师 , Alibaba
gossipyboy赞同了此回答
很感谢这位兄弟提的问题,因为你的问题也是互联网公司正在寻求解决的方法途中,hadoop底层已经通过多用户队列资源分配的方式同时采用CapacitySheduler来进行资源的调度,但是这样可能会造成同一个队列中的资源使用不均衡的情况,后来通过设置每个提交task的最大的map,reduce个数...显示全部

很感谢这位兄弟提的问题,因为你的问题也是互联网公司正在寻求解决的方法途中,hadoop底层已经通过多用户队列资源分配的方式同时采用CapacitySheduler来进行资源的调度,但是这样可能会造成同一个队列中的资源使用不均衡的情况,后来通过设置每个提交task的最大的map,reduce个数等限制进程数,也就是间接限制了资源个数,第二代设计一款框架动态调整用户的资源,但是最近几年有公司开始利用mesos,或者docker等容器的方式进行资源隔离,

收起
 2017-07-05
浏览4196

提问者

heraleign网站架构师, iwhalecloud
相关推广
  • 2020 容器云职业技能大赛运维岗课程系列之—容器云平台的日常故障处理
    近年来,容器技术的发展也非常迅猛,以docker和kubernetes为代表的容器技术日新月异,但我们也在容器的使用过程中碰到各种困扰和难题。本文针对Docker容器和kubernetes集群安装,部署,维护过程中,产生的问题和故障,做出有针对性的说明和解决方案,希望可以帮助到大家去快速定位和解决类似问题故障。
  • 问题状态

  • 发布时间:2017-07-04
  • 关注会员:3 人
  • 问题浏览:7137
  • 最近回答:2017-07-05