大数据与容器的融合?

请问业内是否有将大数据平台组件(HADOOP、Kafka等)进行云原生架构部署的案例,有可行性吗?显示全部

请问业内是否有将大数据平台组件(HADOOP、Kafka等)进行云原生架构部署的案例,有可行性吗?

收起
参与6

查看其它 1 个回答nexpose的回答

nexposenexpose其它阳光信保

业内其实已经有很多利用K8S部署大数据基础组件的场景了,其中很重要的部分是如何发挥出K8S  Scheduler 的威力,充分利用其进行资源调度管理,来代替YARN,很多组件新的版本已经直接对K8S进行支持了,如:Spark,Flink 等。其他Kakfka,Zk 就更简单。
另外一个方面是这些基础组件对存储的要求比较高,如果需要挂在多块磁盘,可以考虑 结合Host模式和Local PV 模式结合的方式来适用于不同的场景。

保险 · 2020-07-10
浏览1329

回答者

nexpose
其它阳光信保
擅长领域: 云计算容器云容器

nexpose 最近回答过的问题

回答状态

  • 发布时间:2020-07-10
  • 关注会员:3 人
  • 回答浏览:1329
  • X社区推广