品玩10月18日讯,据 Github 页面显示,复旦大学和百度公司的研究人员联合开发了一种名为 Hallo2的全新 AI 模型,该模型可以生成长达数小时的4K 分辨率人物动画,并且可以通过语音和文字提示进行精准控制。
Hallo2模型建立在 latent diffusion models 的基础上,并引入了一系列创新性的技术,比如Patch-drop 数据增强技术,可以保证生成人物的稳定性;高斯噪声增强技术,提升动画的连续性及质量;VQGAN 离散码本预测技术实现高分辨率视频的生成,并确保画面细节在时间上的连贯性;还有文本提示控制机制,让动画更具表现力和可控性。
Hallo2模型的强大性能已经在多个公开数据集上得到了验证,包括 HDTF、CelebV 以及研究人员自己创建的“Wild”数据集。实验结果表明,Hallo2在生成高质量、长序列人物动画方面超越了现有的所有方法。
0 条评论
请「登录」后评论