大数据平台和容器云平台如何取长补短,发挥出1+1>2的优势?

大数据平台的特点是模块化,而容器云平台特色的动态化、临时化,两个不同的平台如何取长补短,发挥出1+1>2的优势?显示全部

大数据平台的特点是模块化,而容器云平台特色的动态化、临时化,两个不同的平台如何取长补短,发挥出1+1>2的优势?

收起
参与6

查看其它 1 个回答gdong的回答

容器云和大数据有着各自不同的适用场景,大数据技术主要用于处理 5V ( Volume, Variety , Value , Velocity , Veracity )特征的数据,容器云提供了高效的资源管理能力。随着容器编排技术的日渐成熟,使两者架构融合,充分发挥各自优势,取长补短成为了可能。

目前来看,容器云与大数据的结合主要是以下两个方面:

1、 大数据基础服务容器化

大数据平台基本都是基于 Hadoop 生态,主要存在资源利用率低、隔离差、弹性不足、管理困难等问题。容器云的自动资源管理,安全隔离等特点可以很好地解决大数据这些弊端,虽然大数据组件众多,包括文件存储系统,计算框架,消息处理,查询分析等,但是现在一般都有对应的开源项目来支持它们部署到 Kubernetes 上。而针对于大容量、高 IO 、资源消耗大等特点,在容器平台如红帽 OpenShift 中,可以通过 CPU 、内存资源限定、隔离、物理节点亲和等方式来满足要求。此外,红帽还与很多生态伙伴如英伟达、路坦力等有着密切的合作,比如对 GPU 使用要求高的机器学习场景可以做到非常精确的分配和控制 GPU 线程。

2、 PaaS 能力容器化

数据 PaaS ,也可以称为数据中台,是在大数据基础服务之上搭建的数据服务平台,提供了包括数据集成、中间件、各种数据库服务、深度学习等等数据处理和应用相关的能力,支撑了大数据的各种使用场景。通过容器化部署这些工具,可以快速搭建数据服务,并实现业务快速迭代。红帽 OpenShift 内置的 Operator Hub 也和众多原厂和社区合作提供了绝大多数工具的官方镜像,并提供官方支持,部署简便,融合了最佳实践经验等等,为搭建大数据 PaaS 提供了便捷可靠的途径。

软件开发 · 2021-12-09
浏览1173

回答者

gdong
资深解决方案架构师红帽企业级开源解决方案中心
擅长领域: 云计算容器云容器

gdong 最近回答过的问题

回答状态

  • 发布时间:2021-12-09
  • 关注会员:3 人
  • 回答浏览:1173
  • X社区推广