品玩3月11日讯,据界面新闻报道,字节跳动豆包大模型团队近日开源一项名为COMET的MoE架构优化技术,可将大模型训练效率提升1.7倍。
论文显示,该技术已实际应用于字节的万卡集群训练,实现数百万GPU小时训练算力的节省。

字节跳动豆包大模型团队开源MoE架构优化技术
16小时前品玩3月11日讯,据界面新闻报道,字节跳动豆包大模型团队近日开源一项名为COMET的MoE架构优化技术,可将大模型训练效率提升1.7倍。
论文显示,该技术已实际应用于字节的万卡集群训练,实现数百万GPU小时训练算力的节省。
下载品玩App,比99.9%的人更先知道关于「豆包」的新故事
下载品玩App
比99.9%的人更先知道关于「豆包」的新故事
0 条评论
请「登录」后评论