品玩4月3日讯,据界面新闻报道,OpenAI宣布推出 PaperBench——一个评估 AI 智能体复现前沿 AI 研究能力的基准。智能体需从零开始复现 20 篇 ICML 2024 Spotlight 和 Oral 论文,包括理解论文贡献、开发代码库并成功执行实验。
据介绍,在 PaperBench 上测试多个前沿模型后发现,表现最佳的智能体 Claude 3.5 Sonnet(新版)结合开源框架,平均复现得分为 21.0%。最终其招募顶尖机器学习博士尝试部分测试集,发现上述模型表现尚未超越人类基线。
同时,据外媒报道,OpenAI 旗下 AI 应用 ChatGPT 的付费订阅用户已突破 2000 万,较 2024 年底的 1550 万增长了 450 万,增幅约 30%。

0 条评论
请「登录」后评论