品玩

科技创新者的每日必读

打开APP
关闭

研究显示时间将对大模型质量造成影响

2023年7月20日

品玩7月20日讯,据 Arxiv 页面显示,来自斯坦福大学和伯克利大学的一个研究团队表示,时间将会对大模型的工作质量造成影响。

该研究团队通过对 GPT3.5和 GPT-4两款模型在不同时间的任务表现进行研究得出此结果。该团队提出了四项工作来对这两款模型进行评测,包括解决数学问题、回答敏感问题、生成代码和视觉推理。研究发现,无论是GPT-3.5还是GPT-4的性能和行为在不同时间段会有很大变化。举例说明,GPT-4在2023年3月时在寻找质数方面表现非常好,其准确率达到97.6%,但到了2023年6月,GPT-4在同样的问题上的准确率仅为2.4%。而 GPT-3.5 在同样的问题上的表现则随着时间在进步。

论文表示,同一个大语言模型的行为在相对短的时间内可能发生显著变化,这说明了对大语言模型质量持续监测的必要性。

取消 发布

下载品玩App,比99.9%的人更先知道关于「大语言模型」的新故事

下载品玩App

比99.9%的人更先知道关于「大语言模型」的新故事

iOS版本 Android版本
立即下载
AI阅读助手
以下有两点提示,请您注意:
1. 请避免输入违反公序良俗、不安全或敏感的内容,模型可能无法回答不合适的问题。
2. 我们致力于提供高质量的大模型问答服务,但无法保证回答的准确性、时效性、全面性或适用性。在使用本服务时,您需要自行判断并承担风险;
感谢您的理解与配合
该功能目前正处于内测阶段,尚未对所有用户开放。如果您想快人一步体验产品的新功能,欢迎点击下面的按钮申请参与内测 申请内测