请问docker和k8s是否面向应用呢?能否动态部署hadoop等分布式集群呢?

请问k8s、docker是否面向应用程序的呢?
例如:用k8s部署hadoop、hbase等集群环境的话,是不是就不能自动扩容、缩容了呢?
若能的话,配置是怎么处理的呢?
就例如集群ip的配置,能动态的么?

参与7

1同行回答

liujian0122liujian0122工程师擎创科技
你这里是两个问题(1)k8s和docker是否面向应用k8s和docker是Paas层+IaaS层的,无法直接提供应用,但是app可以在上面部署,但可以实现serverless无服务化,在公有云上已经提供了lambda功能,就是编程实现一个应用,基于k8s,但只暴露编程的接口,这个是面向应用的。(2)hadoop和hbase这种大数据...显示全部

你这里是两个问题

(1)k8s和docker是否面向应用
k8s和docker是Paas层+IaaS层的,无法直接提供应用,但是app可以在上面部署,但可以实现serverless无服务化,在公有云上已经提供了lambda功能,就是编程实现一个应用,基于k8s,但只暴露编程的接口,这个是面向应用的。
(2)hadoop和hbase这种大数据的应用,是可以使用容器部署的,只是应用的容器部署,但不包括底层的hdfs,可以有autoscale!但问题是你的这个应用资源的消耗,一般cpu和内存reuqest和limit是多少,一般对于hadoop和hbase是很高的,服务器的cpu在64,内存512G,但如果hadoop和hbase应用节点达到cpu一半的话,autoscale的意义不大。

配置的话,你首先要吧hadoop和hbase应用容器化啊,如何把这个巨型的应用拆开来,是个问题!

收起
硬件生产 · 2021-12-02
浏览1421
  • 感谢您的回答。但是还是差点意思。换个问题 hadoop集群有没有必要用 k8s + docker 部署。优点是直接用镜像,不用重复安装环境。缺点的话是:1、配置还是需要手动修改。因为集群需要配置所有ip。2、k8s无法自动扩容。不知道我的理解是否正确。
    2021-12-03
  • 我们先评估下使用k8s部署hadoop集群优势是什么? 镜像部署,快速安装 那么缺点和问题是什么? 1、要注意数据持久化,1台物理机上要部署多少个hadoop节点? 数据怎么分布,都是需要注意的问题 2、性能损耗 实际在生产过程中,跑spark,flink的同事,都恨不得把集群的cpu,内存最大限度的利用 如果在同一台物理机上,针对多个容器做limit,是否能满足大数据的需求 3、资源控制和故障风险 控制好资源的分布,预防某些容器负载过高,引起服务器宕机,影响该node上其他容器的正常运行,甚至导致集群雪崩 同时,网络层面的压力可能会变大,非容器化的hadoop集群,单台物理机只需要1-2块网卡传输数据。 容器化的hadoop集群,node上如果部署多个Pod, 网络压力可能是原来的几倍,直接跑满网络上限。如果做Limit,那又对性能产生影响 所以谨慎的使用k8s部署hadoop,需要把整个方案考虑的比较细致,不要为了容器化而容器化。k8s总体上来说,是在往微服务方向优化,而不是追求性能挖掘 hadoop容器化可以考虑用mesos Marathon
    2021-12-06

提问者

lyf340
java开发暂无
擅长领域: 云计算容器云容器

问题来自

相关问题

相关资料

相关文章

问题状态

  • 发布时间:2021-12-02
  • 关注会员:2 人
  • 问题浏览:2150
  • 最近回答:2021-12-02
  • X社区推广