品玩

科技创新者的每日必读

打开APP
关闭

字节跳动开源Multi-SWE-bench,推动大模型代码智能升级

4月10日

品玩4月10日讯,据 AIBASE 报道,字节跳动豆包大模型团队宣布开源Multi-SWE-bench,这是业内首个多语言代码修复基准数据集,为大模型“自动修Bug”能力的评估与提升带来新突破。

在大模型技术快速发展的当下,代码生成任务成为检验模型智能的关键领域。以SWE-bench为代表的代码修复基准,虽能衡量模型的编程智能,但存在明显局限。其仅聚焦Python语言,无法评估模型跨语言泛化能力;且任务难度有限,难以覆盖复杂开发场景,制约了大模型代码智能的进一步发展。

Multi-SWE-bench应运而生,它在SWE-bench基础上实现重大跨越,首次覆盖Java、TypeScript、C、C++、Go、Rust和JavaScript等7种主流编程语言,构建了1632个源于真实开源仓库的修复任务。这些任务经过严格筛选与人工验证,确保质量可靠。同时,Multi-SWE-bench引入难度分级机制,分为简单、中等、困难三类,能更全面评估模型在不同能力层次的表现。

取消 发布

下载品玩App,比99.9%的人更先知道关于「豆包大模型」的新故事

下载品玩App

比99.9%的人更先知道关于「豆包大模型」的新故事

iOS版本 Android版本
立即下载
AI阅读助手
以下有两点提示,请您注意:
1. 请避免输入违反公序良俗、不安全或敏感的内容,模型可能无法回答不合适的问题。
2. 我们致力于提供高质量的大模型问答服务,但无法保证回答的准确性、时效性、全面性或适用性。在使用本服务时,您需要自行判断并承担风险;
感谢您的理解与配合
该功能目前正处于内测阶段,尚未对所有用户开放。如果您想快人一步体验产品的新功能,欢迎点击下面的按钮申请参与内测 申请内测