大模型选型评估框架是什么？应该包含哪些评选维度？

评估框架围绕整体业务需求分析，从领域业务需求，公有云/私有化的部署模式、行业认可及实践能力、数据存储及处理能力、模型性能、安全性、可靠性等方面评估。维度围绕业务需求，如智能客服在语义理解、内容创作、推理能力、数学能力、人格模拟，多模态跨模态等方面。

大语言模型的核心能力大致分为：生成（Generate）、总结（Summarize）、提取（Extract）、分类（Classify）、检索（Search）与改写（Rewrite）六部分。
1、生成能力（Generate）
文本生成是给定输入与上下文生成新文本。生成能力是LLM最核心的能力。其能力的建立来源于对大量的文本进行训练，并捕捉了语言的内在联系与人类的使用模式。
2、总结能力（Summarize）
总结是LLM的重要能力。通过Prompt Engineering，LLM可对用户输入的文本提炼总结。在工作中我们每天会处理大量会议、报告、文章、邮件等文本内容，LLM总结能力有助于快速获取关键信息，提升工作效率。
3、提取能力（Extract）
提取文本信息是NLP中常见需求。LLM有时可以提取比传统NLP方法更难提取的实体。利用LLM提取文本中的时间、地点、人物等信息，旨在将文本关键信息进行结构化表示。除此之外，还可用于提取摘录合同、法律条款中的关键信息。
4、分类能力（Classify）
大模型对文本内容分类的优势在于强语义理解能力与小样本学习能力。也就是说其不需要样本或需要少量样本学习即可具备强文本分类能力。总结起来大模型优势在于：仅通过few-shot学习可超越传统垂直领域模型能力。
5、检索能力（Search）
文本检索是根据给定文本在目标文档中检索出相似文本。最常用的是搜索引擎，搜索引擎根据输入返回高度相关的内容或链接。在检索应用中，LLM的优势在于能够实现语义级别匹配。LLM语义检索可弥补传统关键词匹配检索不足，在本地知识库与搜索引擎中的语义搜文、以文搜图中存在应用价值。
6、改写能力（Rewrite）
通过LLM对输入文本按照要求进行润色、纠错。通过LLM与提示词工程（Prompt Engineering）自动对文本内容纠错。此外，还可用其对文章进行润色处理，使文章在表述上更加清晰流畅。

大模型框架基本可以归纳为三个部分：Stage 1: 预训练(Pretrain)；Stage 2: 监督微调(SFT)；Stage 3: 对齐(Reward Model + RLHF)。

我觉得如果对于金融行业来说,大模型的选型评估框架可以考虑以下几个关键维度:

1. 业务覆盖面:评估模型的适用业务范围,是否可以覆盖金融行业的核心业务,如风控、投资、交易等。
2. 模型性能:评估模型在金融领域业务情景下的精确度、召回率、F1分数等指标表现。
3. 模型解释性:评估模型结果是否可解释、符合金融业的风控合规要求。
4. 模型稳定性:评估模型在遭遇新的金融业务案例时的稳定性和健壮性。
5. 计算效率:评估模型的推理时间,是否可以满足金融实时决策的需求。
6. 数据集规模:评估模型的预训练数据集是否包含足够广泛的金融业务案例。
7. 安全与隐私:评估模型在数据利用、传输等方面的安全治理和隐私保护措施。
8. 监管符合性:评估模型运用是否符合金融监管要求。