向量数据在2023年才开始兴起来,之前大家对之知之甚少。火起来是因为2023 年 3 月英伟达的黄仁勋在 GTC 大会上点名了向量数据库,且是作为大语言模型的外挂记忆体作为场景定义而出现的,被接纳为 RAG(Retrieval-Augmented Generation)——基于检索增强的内容生成。
RAG 一开始就致力于解决大语言模型(LLM)本身存在的一些问题。做法是:把数据先用工具切分好,通过一个 Embedding 模型转成为向量保存到向量数据库。回答问题时,先把问题也转化为一条向量,再用该向量去数据库内进行 Top K 相似度比对,然后把返回的结果拼接成提示词,交给 LLM 回答。
现在市面上的一种争议是:研发一款向量数据?还是在成熟的数据库中插入内嵌向量搜索能力?(如 pg_vector可让 PostgreSQL 具备向量搜索能力 )。
这边比较倾向于第二种,在现有成熟的数据库中集成向量搜索能力,可以具备检索能力、向量化能力;同时又具备成熟数据库的执行引擎,提供更多的访问能力。让向量搜索成为现有的数据库中的一个功能。
这对于企业来说也许是一个更好的、更容易落地的选择,毕竟做下现有数据库的版本升级即可了。
随着大语言模型(LLM)的发展,企业的数字化转型需要借助LLM构建自身的企业搜索引擎,而现有数据库中引入向量搜索能力,能够帮助企业实现这一目的。