大数据平台和容器云平台如何取长补短,发挥出1+1>2的优势?

大数据平台的特点是模块化,而容器云平台特色的动态化、临时化,两个不同的平台如何取长补短,发挥出1+1>2的优势?

参与6

2同行回答

杜东明杜东明解决方案架构师灵雀云Alauda
其实提到取长补短,首先要知道各自的特点以及应用场景。大数据平台的能力是对海量数据提取分析,辅助企业制定决策。我们这里拿广义上的hadoop生态来举例,使用yarn作为核心组件来进行资源管理和调度。这种框架普遍的问题就是:1.资源弹性不足,无法按需自动扩缩容,根据公司的业务场...显示全部

其实提到取长补短,首先要知道各自的特点以及应用场景。大数据平台的能力是对海量数据提取分析,辅助企业制定决策。我们这里拿广义上的hadoop生态来举例,使用yarn作为核心组件来进行资源管理和调度。这种框架普遍的问题就是:
1.资源弹性不足,无法按需自动扩缩容,根据公司的业务场景存在明显的周期性资源使用高峰。
2.资源利用率低,业务低峰大量资源闲置。
3.资源隔离性差,跑多个大数据任务的时候存在资源抢占的问题。
4.系统管理困难,迁移困难。缺少统一的管理接口,例如路由管理,网络管理,磁盘管理等能力。
5.管理方式不统一,大数据业务和主业务需要分别管理。人力成本需求大,那么容器云平台如何根据自身特点来解决大数据平台的问题,发挥出1+1>2的能力优势呢?还得根据问题来看
1.首先对于资源弹性问题,容器云平台可以通过弹性扩缩来应对业务高峰时期的压力场景。
2.资源利用率低的问题,像容器平台支持三级配额管理这样可以尽量做到资源能够按需使用,灵活调度。
3.资源隔离性问题,容器这个技术在设计之初就是支持不同资源的隔离。
4.系统管理困难问题,容器云平台不仅具有容器生命周期的管理能力,同时还提供路由管理,网络管理,监控日志告警等能力。
5.如果主业务和大数据业务都容器化之后上到容器平台,那么就可以通过容器平台进行统一的管理,可实现上述所有功能。

收起
软件开发 · 2022-06-06
浏览765
容器云和大数据有着各自不同的适用场景,大数据技术主要用于处理 5V ( Volume, Variety , Value , Velocity , Veracity )特征的数据,容器云提供了高效的资源管理能力。随着容器编排技术的日渐成熟,使两者架构融合,充分发挥各自优势,取长补短成为了可能。目前来看,容器云与大数据的结...显示全部

容器云和大数据有着各自不同的适用场景,大数据技术主要用于处理 5V ( Volume, Variety , Value , Velocity , Veracity )特征的数据,容器云提供了高效的资源管理能力。随着容器编排技术的日渐成熟,使两者架构融合,充分发挥各自优势,取长补短成为了可能。

目前来看,容器云与大数据的结合主要是以下两个方面:

1、 大数据基础服务容器化

大数据平台基本都是基于 Hadoop 生态,主要存在资源利用率低、隔离差、弹性不足、管理困难等问题。容器云的自动资源管理,安全隔离等特点可以很好地解决大数据这些弊端,虽然大数据组件众多,包括文件存储系统,计算框架,消息处理,查询分析等,但是现在一般都有对应的开源项目来支持它们部署到 Kubernetes 上。而针对于大容量、高 IO 、资源消耗大等特点,在容器平台如红帽 OpenShift 中,可以通过 CPU 、内存资源限定、隔离、物理节点亲和等方式来满足要求。此外,红帽还与很多生态伙伴如英伟达、路坦力等有着密切的合作,比如对 GPU 使用要求高的机器学习场景可以做到非常精确的分配和控制 GPU 线程。

2、 PaaS 能力容器化

数据 PaaS ,也可以称为数据中台,是在大数据基础服务之上搭建的数据服务平台,提供了包括数据集成、中间件、各种数据库服务、深度学习等等数据处理和应用相关的能力,支撑了大数据的各种使用场景。通过容器化部署这些工具,可以快速搭建数据服务,并实现业务快速迭代。红帽 OpenShift 内置的 Operator Hub 也和众多原厂和社区合作提供了绝大多数工具的官方镜像,并提供官方支持,部署简便,融合了最佳实践经验等等,为搭建大数据 PaaS 提供了便捷可靠的途径。

收起
软件开发 · 2021-12-09
浏览1178

提问者

dawey
dawey0110
系统管理光大证券股份有限公司
擅长领域: 存储服务器灾备

问题来自

相关问题

相关资料

相关文章

问题状态

  • 发布时间:2021-12-07
  • 关注会员:3 人
  • 问题浏览:1864
  • 最近回答:2022-06-06
  • X社区推广