语音合成TTS主要模型分析
Tacotron2+MB-MelGAN 语音合成模型【端到端自回归模型】
- Tacotron2 由 Google 大脑和机器感知团队发布
- Tacotron 相对于传统语音合成系统 优势
- 减少了特征工程,所有特征模型自行学习
- 避免多模块误差累计
- Tacotron 缺点
- 端到端不彻底,模型输出梅尔频谱,需要借助声码器转换为最终的语音波形 导致音质瓶颈
- 排错难,人为干预能力差
- 自回归原理,虽然和语言模型很像,但是音频采样点自回归更难,没有语言模型之前词嵌入的信息补充,需要自身更长历史信息才能保证预测准确率。
- 模型结构
- MB-MelGAN【Multi-band