比较 10+ LLMOps 工具：全面介绍供应商基准

作者：Gem Dilmegani

翻译：MLOps社区

自 2019 年以来，由于大型语言模型 （LLM） 的广泛应用领域和功能，这些模型的数量一直在增加（见图 1）。

图1：自2019年以来LLM数量的增加 1

然而，估计显示，设计一个新的基础模型可能花费高达90万美元，而微调或增强现有的大型语言模型可能花费1万到100万美元。 2 这些费用来自：

• 计算成本，例如训练运行的硬件使用情况
• 数据收集和标签成本
• 工程和研发成本

LLMOps工具可以通过促进LLM管理来降低这些成本。但是，LLMOps是一个相对较新的解决方案，大多数商业领袖都不知道这个市场的领先者。本文解释了LLMOps市场并比较了可用的工具。

LLMOps 景观

有20 +工具声称是LLMOps解决方案，可以在三个主要类别下进行评估：

1. LLMOps 平台

这些要么是专门为LLMOps设计的，要么是开始提供LLMOps功能的MLOps平台。它们包括允许在LLM上执行这些操作的功能：

• 微调
• 版本控制
• 部署

这些LLM平台可以提供不同级别的灵活性和易用性：

• 无代码LLM平台：其中一些平台是无代码和低代码的，这有助于LLM的采用。但是，这些工具通常具有有限的灵活性。
• 代码优先平台：这些平台面向机器学习工程师和数据科学家。它们往往提供更高水平的灵活性。

2. 集成框架

这些工具旨在促进开发LLM应用程序，例如文档分析器，代码分析器，聊天机器人等。

3.） 向量数据库 （VD）

VD 存储高维数据向量，例如涵盖症状、血液检查结果、行为和一般健康状况的患者数据。一些VD软件，如深湖可以促进LLM操作。

4.） 其他工具

这些工具简化了LLM工作流程的特定部分，例如测试提示，合并人工反馈（RLHF）或评估数据集。

比较 2023 年顶级 LLMOps 平台

在本节中，我们将重点介绍 LLMOps 平台以及排除的集成框架和其他工具。LLMOps平台可以在以下类别中进行检查：

1. MLOps 平台

某些 MLOps 平台可以部署用于 LLMOps。机器学习操作 （MLOps） 管理和优化端到端机器学习生命周期。由于LLM也是机器学习模型，MLOps供应商自然会扩展到这一领域。

2. LLMs平台

一些LLM提供商，特别是OpenAI，也提供LLMOps功能来微调，集成和部署他们的模型。

3. 数据平台

数据或云平台开始提供LLMOps功能，允许其用户利用自己的数据来构建和微调LLM。例如，Databricks以1亿美元的价格收购了MosaicML。 3

4. 云平台

云领导者亚马逊，Azure和谷歌都推出了LLMOps产品，允许用户轻松部署来自不同提供商的模型。

5. LLMOP平台

此类别包括专门专注于优化和管理LLM操作的工具。下表显示了其中一些LLMOps工具的Github星级，B2B评论和B2B评论页面（Trustradius，Gartner和G2）的平均B2B得分：

1. 彗星：Comet 简化了 ML 生命周期，跟踪实验和生产模型。它适用于大型企业团队，提供各种部署策略。它支持私有云、混合和本地设置。

图2：彗星LLMops平台 4

1. 深湖：Deep Lake 结合了数据湖和矢量数据库的功能，为企业创建、优化和实施高质量的 LLM 和 MLOps 解决方案。Deep Lake允许用户在浏览器或Jupyter笔记本中可视化和操作数据集，快速访问不同的版本并通过查询生成新版本，所有这些都与PyTorch和TensorFlow兼容。
2. 精细特纳人工智能：Fine-turner AI是一个无代码平台，可以通过无代码插件，第三方工具和休息 API.It 连接，可以通过可定制的AI代理创建AI代理，而无需复杂的技术技能。
3. 拉米尼人工智能：Lamini AI 提供了一种通过提示调整和基础模型训练来训练 LLM 的简单方法。Lamini AI用户可以编写自定义代码，集成自己的数据，并在其基础架构上托管生成的LLM。
4. 浮潜AI：Snorkel AI 使企业能够构建或自定义基础模型 （FM） 和大型语言模型 （LLM），以在特定领域的数据集和用例上实现卓越的精度。Snorkel AI 引入了程序化标签，通过自动化流程实现以数据为中心的 AI 开发。

图3：浮潜人工智能平台 5

6. Titan ML：TitanML是一个 NLP 开发平台，旨在让企业快速构建和实施更小、更经济的大型语言模型部署。它提供专有的、自动化的、高效的微调和推理优化技术。这样，它允许企业在内部创建和推出大型语言模型。
7. Valohai：Valohai简化了MLOps和LLM，自动将数据提取到模型部署。它可以存储模型、实验和工件，使监视和部署更加容易。Valohai 创建了从代码到部署的高效工作流，支持笔记本、脚本和 Git 项目。
8. Zen ML：ZenML 主要专注于机器学习操作 （MLOps） 和机器学习工作流程的管理，包括数据准备、实验和模型部署。

关于当前分类方法的免责声明

我们知道有不同的方法可以对这些工具进行分类。例如，一些供应商包括可以帮助在此环境中开发大型语言模型的其他技术，例如容器化或边缘计算。但是，这些技术不是为设计或监视模型而构建的，即使它们可以与 LLMOps 工具配对以提高模型性能。因此，我们排除了这些工具。

更经典的方法根据许可证类型（例如是否开源）或工具是否提供预先训练的模型对工具进行分类。虽然这些是相关的分类，但我们认为它们不如该工具提供的其他功能重要。例如，LLM是否开源非常重要，因为它会影响最终用户如何微调模型。但是，与大多数其他软件一样，LLMOps平台将被大多数最终用户使用，而无需修改软件代码，因此LLMOps工具开源的影响较小。

哪种LLMOps工具是您业务的最佳选择？

我们现在提供有关选择这些工具的相对通用的建议。随着我们更详细地探索LLMOps平台以及随着市场的成熟，我们将使这些更加具体。

以下是您在选择过程中必须完成的几个步骤：

1. 定义目标：清楚地概述您的业务目标，为您的LLMOps工具选择过程奠定坚实的基础。例如，如果您的目标需要从头开始训练模型而不是微调现有模型，这将对您的 LLMOps 堆栈产生重要影响。
2. 定义需求：根据您的目标，某些要求将变得更加重要。例如，如果您的目标是使业务用户能够使用 LLM，则您可能希望在要求列表中不包含任何代码。
3. 准备候选名单：考虑用户评论和反馈，以深入了解使用不同LLMOps工具的真实体验。依靠这些市场数据准备一份候选名单。
4. 比较功能：利用各种LLMOps工具提供的免费试用版和演示，直接比较其特性和功能。

什么是LLMOps？

大型语言模型 （LLM） 是高级机器学习模型，旨在根据他们从训练数据中学到的模式和信息来理解和生成类似人类的文本。这些模型是使用深度学习模型构建的，以捕获复杂的语言细微差别和上下文。

LLMOps是指用于生产环境中LLM操作模型管理的技术和工具。