品玩4月18日讯,据 TechCrunch 报道,微软近日发布一款名为BitNet b1.58 2B4T的全新模型,可以在包括苹果 M2 在内的 CPU 上运行。
该模型本质上是一种压缩模型,专为在轻量级硬件上运行而设计。在标准模型中,权重(定义模型内部结构的值)通常被量化,这样模型就能在各种机器上良好运行。量化权重可以降低表示这些权重所需的比特数(计算机能处理的最小单位),从而使模型能在内存更少的芯片上更快地运行。
微软的研究人员说,BitNet b1.58 2B4T 是第一个拥有 20 亿个参数的比特网络,“参数 ”在很大程度上与 “权重 ”同义。研究人员称,BitNet b1.58 2B4T 在一个包含 4 万亿个代币的数据集(据估计相当于约 3300 万本书)上进行了训练,其性能优于类似规模的传统模型。

0 条评论
请「登录」后评论