大数据平台和容器云平台如何取长补短,发挥出1+1>2的优势?

大数据平台的特点是模块化,而容器云平台特色的动态化、临时化,两个不同的平台如何取长补短,发挥出1+1>2的优势?显示全部

大数据平台的特点是模块化,而容器云平台特色的动态化、临时化,两个不同的平台如何取长补短,发挥出1+1>2的优势?

收起
参与6

查看其它 1 个回答杜东明的回答

杜东明杜东明解决方案架构师灵雀云Alauda

其实提到取长补短,首先要知道各自的特点以及应用场景。大数据平台的能力是对海量数据提取分析,辅助企业制定决策。我们这里拿广义上的hadoop生态来举例,使用yarn作为核心组件来进行资源管理和调度。这种框架普遍的问题就是:
1.资源弹性不足,无法按需自动扩缩容,根据公司的业务场景存在明显的周期性资源使用高峰。
2.资源利用率低,业务低峰大量资源闲置。
3.资源隔离性差,跑多个大数据任务的时候存在资源抢占的问题。
4.系统管理困难,迁移困难。缺少统一的管理接口,例如路由管理,网络管理,磁盘管理等能力。
5.管理方式不统一,大数据业务和主业务需要分别管理。人力成本需求大,那么容器云平台如何根据自身特点来解决大数据平台的问题,发挥出1+1>2的能力优势呢?还得根据问题来看
1.首先对于资源弹性问题,容器云平台可以通过弹性扩缩来应对业务高峰时期的压力场景。
2.资源利用率低的问题,像容器平台支持三级配额管理这样可以尽量做到资源能够按需使用,灵活调度。
3.资源隔离性问题,容器这个技术在设计之初就是支持不同资源的隔离。
4.系统管理困难问题,容器云平台不仅具有容器生命周期的管理能力,同时还提供路由管理,网络管理,监控日志告警等能力。
5.如果主业务和大数据业务都容器化之后上到容器平台,那么就可以通过容器平台进行统一的管理,可实现上述所有功能。

软件开发 · 2022-06-06
浏览782

回答者

杜东明
解决方案架构师灵雀云Alauda
擅长领域: 云计算容器云原生

杜东明 最近回答过的问题

回答状态

  • 发布时间:2022-06-06
  • 关注会员:3 人
  • 回答浏览:782
  • X社区推广