大模型作为新的应用范式,对数据存储的需求与传统业务有所不同。本议题交流核心是分析大模型应用对数据存储需求的特殊性在哪些方面? 又有哪些与传统业务数据存储需求一致的地方?
收起一、传统业务场景和大模型场景在数据存储资源需求的不同之处如下:
传统业务场景,包括交易类的、数据分析类等,这些业务场景主要使用的是关系型的结构化数据,通俗来讲,就是二维表格。这些关系型数据在软件层面主要使用传统的关系型数据库进行存储,在硬件层面可以放在集中式块存储、文件存储等存储设备上。
大语言模型,顾名思义,以处理自然语言文字信息为主,因此它所使用的数据主要不是关系型结构化数据,而是海量的语言文字数据,可以使用文本数据库、向量数据库、数据仓库、数据湖等方式进行存储,因为语言文字数据具有海量的特性,所需要的空间非常大,且增长速度快,因此在硬件层面上,应该使用分布式存储、对象存储等。
二、相同之处如下:
传统业务场景与大模型场景,都需要充足的数据存储空间,且存储设备都需要具备高可用、高性能、高吞吐、稳定性强的特点。