品玩4月7日讯，据 AIbase 报道，腾讯ARC实验室联合香港城市大学近日发布了一项创新性的 AI 研究项目AnimeGamer。

据悉，AnimeGamer能够实现无限的动漫人生模拟，并具备预测下一游戏状态的强大能力。这意味着，用户将有机会以前所未有的方式沉浸于自己喜爱的动漫世界中，通过开放式的自然语言指令，与游戏中的动态环境进行实时互动。其核心在于采用了先进的多模态大型语言模型（MLLMs）。该模型负责生成每一帧游戏状态，包括生动形象的角色动画以及角色各项数值的更新。

AnimeGamer的训练过程分为三个关键阶段：首先，通过一个编码器对包含动作信息的多模态数据进行建模，并训练一个基于扩散模型的解码器来重建视频，同时还会输入表示动作强度的运动范围信息；其次，训练一个MLLM，以用户的历史指令和当前的游戏状态作为输入，预测下一个游戏状态的各种表现；最后，通过一个优化阶段，利用MLLM的预测结果对解码器进行微调，从而进一步提升生成动画的质量。