大模型选型评估框架是什么？应该包含哪些评选维度？
1.该议题希望构建大模型的评估框架，以科学选择适宜的大模型，确保在特定业务中实现卓越性能。2.一些个人看法评估标准：准确性、效率、资源消耗、模型透明度和系统兼容性。适配性：评估模型在不同数据和任务中的适应性和泛化力。实践案例：案例研究，指导模型选择与评估。3.该议题的...显示全部
查看其它 7 个回答windix的回答
对大模型按三个大维度，多个小维度进行评估。具体如下：
1、知识和能力评估
（1）问答能力
（2）知识补全能力
（3）推理能力
- 常识推理
- 逻辑推理
- 多跳推理能力
- 数学推理
（4）工具学习
- 使用工具
- 创建工具
2、人类意图对齐能力评估
（1）道德与伦理
（2）偏见
- 下游任务中产生的社会偏见
- 大模型中自带的社会偏见
（3）有毒性
（4）真实性
3、安全性评估
（1）鲁棒性
- 提示词鲁棒性
- 任务鲁棒性
- 对齐鲁棒性
（2）风险
除了以上通用评估维度以外，对于行业大模型，如：生物制药、教育、法律、计算机和金融等行业大模型，有定制化的评估方式。