品玩

科技创新者的每日必读

打开APP
关闭
业界动态

豆包语音大模型优化小说演播,大咖音色媲美真人

shuohang

发布于 19小时前

近日,字节跳动的豆包语音大模型在小说演播场景取得突破,无需对话旁白、情感、角色等额外标签,也能实现高表现力、高自然度、高语义理解的小说演播效果,声音合成质量媲美真人。

据了解,市面上的语音模型想要媲美一流主播细腻的演播效果,要做好旁白和角色的区分演绎、角色情感的精确表达、不同角色的区分度等。传统的小说TTS合成链路,需要提前给内容打标签。豆包语音大模型基于Seed-TTS架构优化,则可以端到端直接合成出具有韵律、情感等细节的声音。

图:传统语音模型和豆包语音大模型合成链路的区别

Seed-TTS是字节跳动于2024年6月发布的语音生成基座模型。为提升语音表现力和长文本的理解能力,豆包语音大模型团队在Seed-TTS的数据、特征、上下文等结构上做了改进。比如数据上,音频做章节级别处理,保证了长文下的语音一致性和连贯性;语音韵律和准确性上,融合原始文本和前端信息,保证语气词、副语言、强调、弱读等内容自然流畅;额外加入的上下文理解能力,使得模型能够感知更大范围的语义信息,旁白和角色音表现更精准到位。

优化后的豆包语音模型,能端到端演绎更多元的情感,在人物不同情绪上表现自然,而且可实现连续多轮对话,保证角色区分鲜明。

豆包语音模型团队以王明军、李满超两位演播圈大咖的声音为基础,采用新技术合成的有声书,已上线番茄小说,受到用户的广泛欢迎。

编辑:杨艳

下载品玩App,比99.9%的人更先知道关于「业界动态」的新故事

下载品玩App

比99.9%的人更先知道关于「业界动态」的新故事

iOS版本 Android版本
立即下载
shuohang

这家伙很懒,什么也没留下,却只想留下你!

取消 发布
AI阅读助手
以下有两点提示,请您注意:
1. 请避免输入违反公序良俗、不安全或敏感的内容,模型可能无法回答不合适的问题。
2. 我们致力于提供高质量的大模型问答服务,但无法保证回答的准确性、时效性、全面性或适用性。在使用本服务时,您需要自行判断并承担风险;
感谢您的理解与配合
该功能目前正处于内测阶段,尚未对所有用户开放。如果您想快人一步体验产品的新功能,欢迎点击下面的按钮申请参与内测 申请内测