语音合成TTS主要模型分析

Tacotron2+MB-MelGAN 语音合成模型【端到端自回归模型】

• Tacotron2 由 Google 大脑和机器感知团队发布
• Tacotron 相对于传统语音合成系统 优势
  • 减少了特征工程，所有特征模型自行学习
  • 避免多模块误差累计
• Tacotron 缺点
  • 端到端不彻底，模型输出梅尔频谱，需要借助声码器转换为最终的语音波形 导致音质瓶颈
  • 排错难，人为干预能力差
• 自回归原理，虽然和语言模型很像，但是音频采样点自回归更难，没有语言模型之前词嵌入的信息补充，需要自身更长历史信息才能保证预测准确率。
• 模型结构
• MB-MelGAN【Multi-band MelGAN】神经网络声码器
  • 论文 https://arxiv.org/abs/2005.05106
  • MB—Multi band 多波段： 多波段处理梅尔频谱

FastSpeech2+MB-MelGAN 语音合成模型

• FastSpeech 是浙江大学和微软亚洲研究院联合推出 快速的端到端的语音合成系统
• FastSpeech 论文 https://arxiv.org/abs/1905.09263
• FastSpeech2 论文 https://arxiv.org/pdf/2006.04558.pdf
• FastSpeech 相对于 Tacotron 优点
  • 快速 梅尔谱图生成速度提高 270 倍，语音生成速度提高 38 倍。
  • 鲁棒 避免了错误传播和错误注意力对齐的问题，因此几乎消除了跳字和重复。
  • 可控 可以平滑调整语音速度，控制分词。
  • 高质量 语音质量于自回归模型Tacotron2 相当

• FastSpeech2相对于FastSpeech 改进点

  • 使用真实目标而不是Teacher模型简化输出来训练模型，避免数据简化带来的信息缺失
  • 引入音高、能量、持续时间等语音的变化信息，减少文本和梅尔谱图之间信息差
  • 丢弃mel-spectroguams作为中间输出，引入FastSpeech 2s简化语音合成流程，直接从文本合成语音波形，降低延迟

• FastSpeech 模型结构

• FastSpeech2 模型结构