与传统业务场景相比,大模型对数据存储资源的需求有哪些相同与不同之处?

大模型作为新的应用范式,对数据存储的需求与传统业务有所不同。本议题交流核心是分析大模型应用对数据存储需求的特殊性在哪些方面? 又有哪些与传统业务数据存储需求一致的地方?...显示全部

大模型作为新的应用范式,对数据存储的需求与传统业务有所不同。本议题交流核心是分析大模型应用对数据存储需求的特殊性在哪些方面? 又有哪些与传统业务数据存储需求一致的地方?

收起
参与28

查看其它 8 个回答一桶浆糊的回答

一桶浆糊一桶浆糊存储解决方案架构NA

相同点上面几位老师讲的比较多了,从大模型的生命周期角度补充一下对存储的一些需求:
1、数据的采集和处理阶段,比如网络爬取、清洗标注等,这个阶段主要是要求存储支持丰富的接入协议以及海量的存储空间,高吞吐量。
2、模型的开发设计阶段,该阶段主要涉及并行开发,需要数据存储具备各个兼容各平台能力,比如大数据平台、容器平台等。
3、模型训练阶段,主要是快速读取训练集及checkpoint的保存和读取,需要存储提供非常高效且稳定的数据读写能力。
4、模型推理部署阶段,此阶段我理解主要是计算密集型,但对模型加载和保存有需求,对存储的需求是高性能、高并发。同时具备较高的可靠性。

系统集成 · 2024-01-23
浏览677

回答者

一桶浆糊
存储解决方案架构NA
擅长领域: 存储灾备信创

一桶浆糊 最近回答过的问题

回答状态

  • 发布时间:2024-01-23
  • 关注会员:10 人
  • 回答浏览:677
  • X社区推广