与传统业务场景相比,大模型对数据存储资源的需求有哪些相同与不同之处?

大模型作为新的应用范式,对数据存储的需求与传统业务有所不同。本议题交流核心是分析大模型应用对数据存储需求的特殊性在哪些方面? 又有哪些与传统业务数据存储需求一致的地方?...显示全部

大模型作为新的应用范式,对数据存储的需求与传统业务有所不同。本议题交流核心是分析大模型应用对数据存储需求的特殊性在哪些方面? 又有哪些与传统业务数据存储需求一致的地方?

收起
参与28

查看其它 8 个回答leonardo1216的回答

leonardo1216leonardo1216研发工程师某金融机构

1、海量存储:大模型的训练需要海量的高质量数据,但是高质量数据往往从更海量的数据中筛选清洗而来,所以对于原始数据、清洗后数据的存储、分类管理是一个重要变化
2、大规模异构存储:当前路线的多模态大模型的训练仍然需要异构数据,需要类似于数据湖的基础设施作为异构数据的集成管理。
3、日志存储的可控性:大模型服务的可控性一直是大模型应用的重要问题。随之而来的,海量异构的服务日志,如何进行日志记录、筛选、反馈处理以及内容后审查等都与以往服务存在较大的不同。
4、知识存储:RAG的向量化存储、图存储等,均是随着大模型技术发展而发展的,需要考虑异构知识的统一存储和管理等新问题。

银行 · 2024-01-15
浏览831

回答者

leonardo1216
研发工程师某金融机构
擅长领域: 人工智能数据库大数据

leonardo1216 最近回答过的问题

回答状态

  • 发布时间:2024-01-15
  • 关注会员:10 人
  • 回答浏览:831
  • X社区推广