大数据与容器的融合?

请问业内是否有将大数据平台组件(HADOOP、Kafka等)进行云原生架构部署的案例,有可行性吗?

参与6

2同行回答

nexposenexpose其它阳光信保
业内其实已经有很多利用K8S部署大数据基础组件的场景了,其中很重要的部分是如何发挥出K8S  Scheduler 的威力,充分利用其进行资源调度管理,来代替YARN,很多组件新的版本已经直接对K8S进行支持了,如:Spark,Flink 等。其他Kakfka,Zk 就更简单。 另外一个方面是这些基础组件对存...显示全部

业内其实已经有很多利用K8S部署大数据基础组件的场景了,其中很重要的部分是如何发挥出K8S  Scheduler 的威力,充分利用其进行资源调度管理,来代替YARN,很多组件新的版本已经直接对K8S进行支持了,如:Spark,Flink 等。其他Kakfka,Zk 就更简单。
另外一个方面是这些基础组件对存储的要求比较高,如果需要挂在多块磁盘,可以考虑 结合Host模式和Local PV 模式结合的方式来适用于不同的场景。

收起
保险 · 2020-07-10
浏览1355

提问者

胡子龙
系统规划管理长沙银行
擅长领域: 云计算容器数据中心

问题来自

相关问题

相关资料

相关文章

问题状态

  • 发布时间:2020-07-07
  • 关注会员:3 人
  • 问题浏览:2979
  • 最近回答:2020-07-10
  • X社区推广