品玩

科技创新者的每日必读

打开APP
关闭

MetAI 联合多所大学推出基准数据集,测试大语言模型因果推理能力

2023年6月12日

品玩6月12日讯,据 huggingface 页面显示,Meta AI 近日联合香港大学以及密歇根大学发布了一款基础数据集,用来测试大语言模型的因果推理能力。

这款数据集收录了超过40万个样本,并制定了一个名为 Corr2cause 的新任务。它通过一组相关语句来确定变量之间的因果关系。研发团队目前已经通过该数据集评估了17款现有的大模型产品。

通过实验,团队评估现有的 17 个大型语言模型没有一个在这项纯粹的因果推理任务上表现良好

取消 发布

下载品玩App,比99.9%的人更先知道关于「生成式大模型」的新故事

下载品玩App

比99.9%的人更先知道关于「生成式大模型」的新故事

iOS版本 Android版本
立即下载
AI阅读助手
以下有两点提示,请您注意:
1. 请避免输入违反公序良俗、不安全或敏感的内容,模型可能无法回答不合适的问题。
2. 我们致力于提供高质量的大模型问答服务,但无法保证回答的准确性、时效性、全面性或适用性。在使用本服务时,您需要自行判断并承担风险;
感谢您的理解与配合
该功能目前正处于内测阶段,尚未对所有用户开放。如果您想快人一步体验产品的新功能,欢迎点击下面的按钮申请参与内测 申请内测