flink任务在容器云集群中运行时,需要将一部分数据放在容器中处理,如果放在本地盘可能会将文件系统占满,影响到其他容器的运行;如果存算分离,可能IO不能满足需求。建议采用哪种方式?
一般需要为计算节点配置单独的shaffle本地盘, 同时通过调度算发,让数据密集型作业尽可能分散到不同的节点,确保不出现存储热点节点。 同时也可以增加作业的内存配置和数量,减少spill到本地的文件数量,减少存储开销。
关于TWT使用指南社区专家合作厂商入驻社区企业招聘投诉建议版权与免责声明联系我们 © 2024talkwithtrend — talk with trend,talk with technologist京ICP备09031017号-30