容器云如何应用于大数据平台内部?是否能满足大数据平台的大容量高IO、资源消耗大的特性?

容器云和大数据平台的结合是个很大胆的尝试,期望可以看到更多的案例,以及实际的性能测试情况到底如何?显示全部

容器云和大数据平台的结合是个很大胆的尝试,期望可以看到更多的案例,以及实际的性能测试情况到底如何?

收起
参与6

返回gdong的回答

容器云和大数据有着各自不同的适用场景,大数据技术主要用于处理5V(Volume, Variety,Value,Velocity,Veracity)特征的数据,容器云提供了高效的资源管理能力。随着容器编排技术的日渐成熟,使两者架构融合,充分发挥各自优势,取长补短成为了可能。

目前来看,容器云与大数据的结合主要是以下两个方面:

1、 大数据基础服务容器化

大数据平台基本都是基于Hadoop生态,主要存在资源利用率低、隔离差、弹性不足、管理困难等问题。容器云的自动资源管理,安全隔离等特点可以很好地解决大数据这些弊端,虽然大数据组件众多,包括文件存储系统,计算框架,消息处理,查询分析等,但是现在一般都有对应的开源项目来支持它们部署到Kubernetes上。而针对于大容量、高IO、资源消耗大等特点,在容器平台如红帽OpenShift中,可以通过CPU、内存资源限定、隔离、物理节点亲和等方式来满足要求。此外,红帽还与很多生态伙伴如英伟达、路坦力等有着密切的合作,比如对GPU使用要求高的机器学习场景可以做到非常精确的分配和控制GPU线程。

2、 PaaS能力容器化

数据PaaS,也可以称为数据中台,是在大数据基础服务之上搭建的数据服务平台,提供了包括数据集成、中间件、各种数据库服务、深度学习等等数据处理和应用相关的能力,支撑了大数据的各种使用场景。在这一部分,很多工具都有相应的容器版本或部署方法。红帽OpenShift内置的Operator Hub也和众多原厂和社区合作提供了绝大多数工具的官方镜像,并提供官方支持,部署简便,融合了最佳实践经验等等,为搭建大数据PaaS提供了便捷可靠的途径。

软件开发 · 2021-12-09
浏览991

回答者

gdong
资深解决方案架构师红帽企业级开源解决方案中心
擅长领域: 云计算容器云容器

gdong 最近回答过的问题

回答状态

  • 发布时间:2021-12-09
  • 关注会员:2 人
  • 回答浏览:991
  • X社区推广