品玩1月15日讯, MiniMax 今天推出并开源新一代 MiniMax 01 系列模型,包含基础语言大模型 MiniMax-Text-01 和视觉多模态大模型 MiniMax-VL-01。
该系列模型首次大规模实现线性注意力机制,打破 Transformer 传统架构记忆瓶颈,能够处理 400 万 token 的输入,可输入长度是 GPT-4o 的 32 倍,Claude-3.5-Sonnet 的 20 倍。
据介绍,这个模型的参数量高达 4560 亿,其中单次激活 459 亿,模型综合性能比肩海外顶尖模型,在大多数任务上追平了海外公认最先进的两个模型,GPT-4o-1120 以及 Claude-3.5-Sonnet-1022。

0 条评论
请「登录」后评论