大模型建设应用如何评估成效?

目前是否有什么评估指标,来评估大模型建设的成果?显示全部

目前是否有什么评估指标,来评估大模型建设的成果?

收起
参与5

查看其它 1 个回答peima的回答

peimapeima课题专家组架构师某金融公司

应用Control Transformer模型框架威胁评估,OpenFlamingo模型是 DeepMind Flamingo 模型的开源版,可实现多模态大模型的训练和评估。分类器的方法是训练一个文本质量判断模型,用以识别并过滤低质量数据。到目前还没有一套针对中文背景下大模型评测的规范和方法,建议相关厂商联合有统一衡量的工具或平台,提升模型可靠性、鲁棒性和公平性,来明确评测过程中的数据准备、指标、测试等,保证评测的可重复性和公正性,统一标准来衡量不同模型的性能和效果。

银行 · 2024-01-29
浏览313

回答者

peima
架构师某金融公司
擅长领域: 人工智能云计算灾备

peima 最近回答过的问题

回答状态

  • 发布时间:2024-01-29
  • 关注会员:3 人
  • 回答浏览:313
  • X社区推广