品玩

科技创新者的每日必读

打开APP
关闭

OpenAI 宣布推出 AI Agent 评测基准 PaperBench

20小时前

品玩4月3日讯,据界面新闻报道,OpenAI宣布推出 PaperBench——一个评估 AI 智能体复现前沿 AI 研究能力的基准。智能体需从零开始复现 20 篇 ICML 2024 Spotlight 和 Oral 论文,包括理解论文贡献、开发代码库并成功执行实验。

据介绍,在 PaperBench 上测试多个前沿模型后发现,表现最佳的智能体 Claude 3.5 Sonnet(新版)结合开源框架,平均复现得分为 21.0%。最终其招募顶尖机器学习博士尝试部分测试集,发现上述模型表现尚未超越人类基线。

同时,据外媒报道,OpenAI 旗下 AI 应用 ChatGPT 的付费订阅用户已突破 2000 万,较 2024 年底的 1550 万增长了 450 万,增幅约 30%。

取消 发布

下载品玩App,比99.9%的人更先知道关于「OpenAI」的新故事

下载品玩App

比99.9%的人更先知道关于「OpenAI」的新故事

iOS版本 Android版本
立即下载
AI阅读助手
以下有两点提示,请您注意:
1. 请避免输入违反公序良俗、不安全或敏感的内容,模型可能无法回答不合适的问题。
2. 我们致力于提供高质量的大模型问答服务,但无法保证回答的准确性、时效性、全面性或适用性。在使用本服务时,您需要自行判断并承担风险;
感谢您的理解与配合
该功能目前正处于内测阶段,尚未对所有用户开放。如果您想快人一步体验产品的新功能,欢迎点击下面的按钮申请参与内测 申请内测