品玩1月23日讯,据 iThome 报道,谷歌日前推出了一款专为大语言模型设计的 ASPIRE 训练框架,该框架号称可以增强 AI 模型的选择性预测能力。
谷歌提到,当下大语言模型在自然语言理解和生成内容方面发展迅速,已被用于构建各种创新应用,但要应用于高风险决策类场合依然不妥。这是由于模型预测具有不确定性及“幻觉”可能,因此谷歌开发了一款 ASPIRE 训练框架,为系列模型引入了“可信度”机制,即模型会输出一系列答案,每个答案都会具有正确概率评分。
在技术层面,I该训练框架主要分为三阶段,分别为“特定任务调整”、“答案采样”和“自我评估学习”。谷歌研究人员使用 CoQA、TriviaQA 和 SQuAD 三个问答数据集来验证 ASPIRE 训练框架的成果,据称“经过 ASPIRE 调整的 OPT-2.7B 小模型,表现远超更大的 OPT-30B 模型”。
研究人员总结称,ASPIRE 框架训练能够显著提升大语言模型输出准确率,即使是较小的模型,也可以在经过微调后进行“准确且有自信”的预测。
0 条评论
请「登录」后评论