大数据容器化部署如何实现资源隔离,与非容器相比的优势在什么地方?

参与6

2 同行回答

dean25 dean25 课题专家组 软件架构设计师 民生银行
针对:大数据容器化部署如何实现资源隔离,与非容器相比的优势在什么地方?我是这么思考的,你可以看看是否有解答你的问题:通过宿主机的linux kernel实现优先级控制,确保资源使用优先级低于在线服务。与传统方式相比,容器化的大数据作业可以运行在在线应用使用的集群,利用在线集群...显示全部

针对:大数据容器化部署如何实现资源隔离,与非容器相比的优势在什么地方?我是这么思考的,你可以看看是否有解答你的问题:
通过宿主机的linux kernel实现优先级控制,确保资源使用优先级低于在线服务。与传统方式相比,容器化的大数据作业可以运行在在线应用使用的集群,利用在线集群低谷期的算力,从而提升算力的整体使用效率。无需为大数据作业购置单独的资源硬件、软件,可大幅度节省大数据作业的算力成本,提高资源利用。

收起
银行 · 2024-04-28
浏览267
强哥之神 强哥之神 架构师&技术经理 上汽集团云计算中心
通过资源隔离(比如采用K8S不同的namespace并分配不同的租户quota)、容器的namespace及cgroup特性实现进程级别的隔离、通过资源限制(不同的limit、request,quota等)实现资源的分配。非容器化部署的话,一般资源分配依赖物理或虚拟机的划分,缺乏灵活性,应用进程间也可能互相干扰,影...显示全部

通过资源隔离(比如采用K8S不同的namespace并分配不同的租户quota)、容器的namespace及cgroup特性实现进程级别的隔离、通过资源限制(不同的limit、request,quota等)实现资源的分配。
非容器化部署的话,一般资源分配依赖物理或虚拟机的划分,缺乏灵活性,应用进程间也可能互相干扰,影响稳定性,容易忽视的是部署和管理复杂,环境不一致问题常见。

收起
互联网服务 · 2024-05-17
浏览213

ChatGPT 回答

在银行行业中,大数据容器化部署可以实现资源隔离的方式有以下几种:

  1. 基于命名空间的隔离:Kubernetes等容器编排工具提供了命名空间的概念,可以将不同的容器放置在不同的命名空间中,从而实现资源隔离。
  2. 基于资源限制的隔离:容器编排工具可以通过设置CPU、内存等资源限制,来限制容器的资源使用,从而实现资源隔离。
  3. 基于网络隔离的隔离:容器编排工具可以通过设置网络策略,来限制容器之间的网络通信,从而实现网络隔离。

相比于非容器化部署,大数据容器化部署的优势在于:

  1. 资源隔离:容器化部署可以实现资源隔离,避免不同应用之间的资源冲突。
  2. 灵活性:容器化部署可以快速创建、启动和停止容器,从而提高应用的灵活性和可移植性。
  3. 高效性:容器化部署可以利用宿主机的资源,提高应用的运行效率。
  4. 可扩展性:容器化部署可以通过增加或减少容器数量,来实现应用的扩展或缩减,从而提高应用的可扩展性。

总之,大数据容器化部署可以实现资源隔离,提高应用的灵活性、可移植性、高效性和可扩展性,是银行行业中大数据部署的一种重要方式。

提问者

wanggeng
系统运维工程师 某银行
擅长领域: 服务器存储数据库
评论354

问题来自

相关问题

相关资料

相关文章

问题状态

  • 发布时间:2024-04-26
  • 关注会员:3 人
  • 问题浏览:1057
  • 最近回答:2024-05-17
  • X社区推广