在企业大数据架构中,除了采用Kerberos和CDH多租户以外,还有哪些较好的权限和资源控制产品呢?

1、我们在目前项目中,搭建的Hadoop平台,因为涉及到多个厂家使用,所以想使资源的数据隔离,保证多个厂家使用的时候互不影响,我们目前采用的是Kerberos+CDH多租户,请问一下,还有哪些较好的解决方案呢?请问一下目前大的互联网公司又是怎么解决资源和数据隔离的呢?
2、在内存计算这方面,请问一下大家使用Spark Standalone模式,还是On Yarn模式呢?或者使用其他什么模式?
3、使用Hive on Spark 较多呢还是直接使用Spark SQL直接处理问题呢?

参与8

2同行回答

heraleignheraleign  网站架构师 , iwhalecloud
暂时只讨论第一个话题,内存计算和仓库计算我再单独提问,带来不便,还请谅解,谢谢!显示全部

暂时只讨论第一个话题,内存计算和仓库计算我再单独提问,带来不便,还请谅解,谢谢!

收起
系统集成 · 2017-07-04
浏览6818
美国队长美国队长  研发工程师 , Alibaba
很感谢这位兄弟提的问题,因为你的问题也是互联网公司正在寻求解决的方法途中,hadoop底层已经通过多用户队列资源分配的方式同时采用CapacitySheduler来进行资源的调度,但是这样可能会造成同一个队列中的资源使用不均衡的情况,后来通过设置每个提交task的最大的map,reduce个数...显示全部

很感谢这位兄弟提的问题,因为你的问题也是互联网公司正在寻求解决的方法途中,hadoop底层已经通过多用户队列资源分配的方式同时采用CapacitySheduler来进行资源的调度,但是这样可能会造成同一个队列中的资源使用不均衡的情况,后来通过设置每个提交task的最大的map,reduce个数等限制进程数,也就是间接限制了资源个数,第二代设计一款框架动态调整用户的资源,但是最近几年有公司开始利用mesos,或者docker等容器的方式进行资源隔离,

收起
互联网服务 · 2017-07-05
浏览6270

提问者

heraleign
网站架构师iwhalecloud
擅长领域: 大数据大数据平台服务器

问题来自

相关问题

相关资料

相关文章

问题状态

  • 发布时间:2017-07-04
  • 关注会员:3 人
  • 问题浏览:9575
  • 最近回答:2017-07-05
  • X社区推广