容器云中flink类型的大数据存储方式?

flink任务在容器云集群中运行时,需要将一部分数据放在容器中处理,如果放在本地盘可能会将文件系统占满,影响到其他容器的运行;如果存算分离,可能IO不能满足需求。建议采用哪种方式?...显示全部

flink任务在容器云集群中运行时,需要将一部分数据放在容器中处理,如果放在本地盘可能会将文件系统占满,影响到其他容器的运行;如果存算分离,可能IO不能满足需求。建议采用哪种方式?

收起
参与4

返回dean25的回答

dean25dean25课题专家组软件架构设计师民生银行

一般需要为计算节点配置单独的shaffle本地盘, 同时通过调度算发,让数据密集型作业尽可能分散到不同的节点,确保不出现存储热点节点。 同时也可以增加作业的内存配置和数量,减少spill到本地的文件数量,减少存储开销。

银行 · 2024-04-28

回答者

dean25
软件架构设计师民生银行
擅长领域: 云计算容器容器云

dean25 最近回答过的问题

回答状态

  • 发布时间:2024-04-28
  • 关注会员:2 人
  • 回答浏览:81
  • X社区推广