容器与大数据能力如何完美集合?

大数据平台容器化的底层容器使用何种技术,集群与平台,厂商或是开源的容器云平台是否可以完全兼容并提供大数据场景下的相关能力

参与5

2 同行回答

强哥之神 强哥之神 架构师&技术经理 上汽集团云计算中心
容器最大的好处是灵活,轻量。大数据是计算型侧重资源弹性及大数据存储。两者在处理任务的时候,可以将两者优点结合起来。而且,两者的调度框架还不大一样,容器一般使用K8S,大数据一般使用hadoop, strom, spark等计算引擎基于yarn的调度。但好在这些也可以容器化改造的,即可以跑...显示全部

容器最大的好处是灵活,轻量。大数据是计算型侧重资源弹性及大数据存储。两者在处理任务的时候,可以将两者优点结合起来。而且,两者的调度框架还不大一样,容器一般使用K8S,大数据一般使用hadoop, strom, spark等计算引擎基于yarn的调度。但好在这些也可以容器化改造的,即可以跑在容器化平台K8S中,并可刚好利用K8S的资源弹性、灵活编排等功能来扩充或补充大数据平台的调度能力。还可以通过混布策略,将底层基础设施平台进行统一,即都跑在K8S上。这些是我们在生产环境已经落地了并稳定运行着的。

收起
互联网服务 · 2024-05-28
浏览70
dean25 dean25 课题专家组 软件架构设计师 民生银行
大数据平台容器化后底层容器使用的还是k8s这一套,这个并没有改变。 技术方案方案一般有2大类: 一个大类是用k8s模拟yarn调度模式、一个大类是k8s原生调度方式。spark/flink社区主要支持k8s原生调度方式,我们因为历史原因选择用k8s模拟yarn调度模式。大数据容器化只有和混...显示全部

大数据平台容器化后底层容器使用的还是k8s这一套,这个并没有改变。 技术方案方案一般有2大类: 一个大类是用k8s模拟yarn调度模式、一个大类是k8s原生调度方式。spark/flink社区主要支持k8s原生调度方式,我们因为历史原因选择用k8s模拟yarn调度模式。大数据容器化只有和混合部署结合才有价值,可以大幅度提升资源使用效率,降低算力成本。单独搞大数据容器化没有啥意义,所以建议在进行大数据容器化改造,可以优先尝试混合部署结合方式。

收起
银行 · 2024-04-28
浏览217

ChatGPT 回答

大数据平台容器化的底层容器使用的技术可以是Docker、Kubernetes等。Docker是一种轻量级的容器技术,可以将应用程序及其依赖项打包成一个可移植的容器,从而实现跨平台部署。Kubernetes是一个开源的容器编排平台,可以自动化部署、扩展和管理容器化应用程序。

在大数据场景下,容器化技术可以帮助实现快速部署、弹性伸缩、资源隔离等功能,提高大数据平台的灵活性和可靠性。同时,容器云平台也可以提供大数据场景下的相关能力,如数据存储、数据处理、数据分析等,以满足用户的需求。

目前,市面上有许多容器云平台厂商和开源项目,如Docker Swarm、Kubernetes、OpenShift等,它们都可以提供大数据场景下的相关能力。但是,不同的容器云平台在功能、性能、易用性等方面存在差异,用户需要根据自己的需求选择合适的平台。同时,用户还需要注意平台的兼容性,确保平台可以与自己的大数据应用程序兼容。

提问者

橘子皮
橘子皮 0 2 15
容器云运维工程师 北京银行
擅长领域: 云计算容器大数据
评论10

问题来自

相关问题

相关资料

相关文章

问题状态

  • 发布时间:2024-04-28
  • 关注会员:3 人
  • 问题浏览:772
  • 最近回答:2024-05-28
  • X社区推广