当甄嬛传、让子弹飞全都转英文，会怎样？
小红书经常刷到这种视频，然后英语就这么丝滑地经过我的脑子。
现在，AI 就可以搞定！就像这样。
不仅符合原版的音色和情感，还能保证唇形同步。
很好， 以后再不需要看小红书麻烦配音老师来教我英语了（Doge）。
而这次出手的，正好是那个创造诸多魔性视频的B 站。真是好你个 B 站。
他们发布的 TTS 模型 IndexTTS2，在社区引发不少的关注。
网友表示：已经迫不及待地想用它来做搞笑视频了。
IndexTTS2：AI 配音无压力
它最大的亮点，就在于在实现时长控制的同时，还能再现符合 Prompt 的情感特征。
它支持两种生成方式。
一种是明确 token 数量，以精准控制时长。
比如原音频是这样：
要求替换成的文本是只有当科技为本地社群创造价值的时候，才真正有意义。
那么控制它的时长分别为原来的 0.75 倍、1 倍（原速）、1.25 倍。效果是这样的。
另一种是无需手动输入，自动生成语音，同时保留输入提示的韵律特征。
比如生气的情感。
指定替换文本：你在我们屋里走路的时候，发现了一条遥远的路，这是不够奇怪的。
此外还支持音频和情绪表达独立控制。
不同的音频提示可以分别作为音色和情绪表达的参考，也可以用描述性的文本也能用来情绪参考，同时保持音色不变。
比如像「我感觉很沮丧」、「巨巨巨巨巨巨难过」、「有点快乐」……这种描述。
「巨巨巨巨巨巨难过」之后，声音就变成了这样。
结果他们使用常见测试集，包括 LibriSpeech-test-clean、SeedTTS test-zh、SeedTTS test-en 和 AIShell-1 test 对 IndexTTS2 模型以及其他代表性模型进行了评估，
可以看到，除了 AIShell-1 test 测试外，其他评测都实现了 SOTA。
在 AIShell-1 测试中，IndexTTS2 在 SS 方面仅落后于 Ground Truth 0.004，在 WER 方面仅比 IndexTTS 差 0.038%。
而在情感性能比较上，IndexTTS2 也实现了情感表达和文本准确性上面的双重 SOTA。字词错误率（WER）仅为 1.883%。
在时长控制的准确性上，可以看到指定市场的 Token 数错误均小于 0.02%。
此外，他们还进行了两组消融实验，以验证各个模块的贡献：删除 GPT 潜在表征；删除 S2M 模块。
GPT 潜在表征它在语音的发音和清晰度方面发挥了重要作用，删除它会导致所有数据集上指标下降，
用 MaskGCT 的 S2A 模块（针对离散声标记）替换 S2M 模块，结果发现在表明情感保真度和语音准确度都有所下降，以及合成质量上也有所下降。
这意味着，S2M 模块大大提高了合成语音的保真度和感知自然度。
如何实现？
文本转语音 ( TTS ) 模型通常分为自回归系统和非自回归系统。
虽然自回归系统在语音自然度方面表现出一定优势，但其逐个 token 的生成机制使其难以精确控制合成语音的时长。
这在视频配音等需要严格音视频同步的应用中是一个关键限制。
据介绍，IndexTTS2 是首个将精确时长控制和自然时长生成相结合的自回归零样本 TTS 模型。
在这之前，B 站团队还曾发布过 1.0 和 1.5 版本。
IndexTTS2 由三个核心模块组成：
文本到语义（T2S）、语义到语音（S2M）和 BigVGANv2 声码器。
T2S 使用源文本、风格提示、音色提示以及可选的语音 token 数字作为输入，生成语义 token。
最后，BigVGANv2 将旋律谱图转换为目标语音波形。
具体看 T2S 任务，团队将其表述为自回归语音 Token 预测任务。
他们采用与传统大语言模型相同的训练方法，即预测下一个 Token。不过不同的是，他们引入了两个关键创新：时常控制和情感控制。
情感适配器（红色虚线）用于从风格提示中提取情感特征，然后将其作为文本到语义流程的输入，以重建情感。
在第一阶段，团队使用基于 Conformer 的情绪感知器条件器（emo perceiverconditioner），它用于从风格提示中提取情绪嵌入，专门对情绪数据进行训练。
为了将特定情感信息与说话者的相关属性（如口音、节奏）区分开来，团队还引入了梯度反转层。
在训练过程中，风格提示源于真实语音；在推理过程中，风格提示可被情感参考音频所替代，该音频可能来自不同的说话者。
再来看基于流匹配的 S2M 模块，它结合 GPT 潜在表征来提升语音稳定性。
这一过程需以音色参考音频为条件，并融合 T2S 模块生成的语义编码。针对深度情感演绎时易出现的发音含糊问题，本阶段采用双重解决策略：其一是对 BERT 模型提取的文本表征进行帧级对齐后作为辅助输入；其二是将 T2S 模块的 GPT 潜在特征作为补充信息。
代号 H？
不过话说回来，最近 B 站被曝出正在加速推进视频播客战略。
什么意思呢？
就是用一种「能看」就不用「听」的播客。
与此同时，内部还启动了代号为「代号 H」的 AI 创作工具的同步研发。
没准儿，这个 IndexTTS2 就是他们代号 H 中的一环呢。
参考链接：
https://www.reddit.com/r/LocalLLaMA/comments/1lyy39n/indextts2_the_most_realistic_and_expressive/
https://arxiv.org/abs/2506.21619
https://arxiv.org/abs/2502.05512
https://index-tts.github.io/index-tts2.github.io/
https://github.com/index-tts/index-tts2.github.io
一键三连「点赞」「转发」「小心心」
欢迎在评论区留下你的想法！
— 完 —
专属 AI 产品从业者的实名社群，只聊 AI 产品最落地的真问题 扫码添加小助手，发送「姓名 + 公司 + 职位」申请入群～
进群后，你将直接获得：
� � 最新最专业的 AI 产品信息及分析 � �
� � 不定期发放的热门产品内测码 � �
� � 内部专属内容与专业讨论 � �
� � 点亮星标 � �
科技前沿进展每日见
股市配资平台提示：文章来自网络，不代表本站观点。
