微调后大模型容易出现灾难性遗忘，导致其他能力下降。使用什么数据和技术组合，能提升特定任务的同时，不造成其他能力丧失，对企业处理多业务功能需求有很大意义。
大模型微调的过程，如果能够蒸馏出一个较小的模型，灾难性遗忘的影响能够缓解。同时在特定场景数据集上表现也会更好。此外，回顾之前的样本也能够有效避免灾难性遗忘。
关于TWT使用指南社区专家合作厂商入驻社区企业招聘投诉建议版权与免责声明联系我们 © 2024talkwithtrend — talk with trend,talk with technologist京ICP备09031017号-30
