返回专栏
· 25 分钟阅读

AI 语音合成 TTS:从文本到自然语音的完整技术原理


一、什么是 AI 语音合成?

TTS(Text-to-Speech)即文本转语音技术,核心任务是将输入的文本转换为具有语言表达能力的音频信号。

例如,输入:

你好,欢迎使用人工智能语音合成系统。

系统输出一段包含对应发音、语调、停顿和韵律的语音。

传统 TTS 主要依赖人工设计的发音规则、语音片段拼接和统计模型。现代 TTS 则主要采用深度学习,通过神经网络学习文本与语音之间的映射关系,生成更加自然、连贯的语音。

1. TTS 与相关语音技术的区别

技术 英文名称 核心任务
语音合成 Text-to-Speech 文本转换为语音
语音识别 Automatic Speech Recognition 语音转换为文本
语音转换 Voice Conversion 改变语音音色或说话人特征
说话人识别 Speaker Recognition 判断语音来自谁
语音活动检测 Voice Activity Detection 判断音频中是否存在语音
语音增强 Speech Enhancement 降噪、改善语音质量

其中,ASR 和 TTS 是两个方向相反、但技术体系并不完全对称的任务。

ASR 需要从连续声学信号中推断语言内容,而 TTS 需要根据语言内容生成符合发音规律和声学特征的语音。

2. TTS 的核心输入与输出

输入:

  • 文本内容。
  • 语言或方言信息。
  • 说话人 ID 或声音参考。
  • 情感、语气、语速等控制信息。
  • 音频生成参数。

输出:

  • 数字音频波形。
  • 采样率、位深、声道等音频属性。
  • 可选的时间戳、音素对齐和分段信息。

现代 TTS 不只是将文字读出来,还需要处理:

  • 多音字和上下文发音。
  • 数字、日期、缩写和特殊符号。
  • 句子重音和停顿。
  • 语速、音高和音色。
  • 情感表达和说话风格。
  • 不同语言之间的发音差异。

二、现代 TTS 的整体架构

现代神经网络 TTS 通常可以拆分为文本处理、文本编码、声学建模和声码器四个核心阶段。

flowchart TD
    A["输入文本"] --> B["文本规范化"]
    B --> C["分词与音素转换"]
    C --> D["文本编码器"]
    D --> E["声学模型"]
    E --> F["声学特征"]
    F --> G["神经声码器"]
    G --> H["生成音频波形"]
    H --> I["输出语音"]

    J["说话人信息"] --> E
    K["语速与情感控制"] --> E

    style A fill:#DCEFE5,stroke:#4F8B70,color:#24563F
    style B fill:#EAF3EC,stroke:#83A995,color:#315D49
    style C fill:#EAF3EC,stroke:#83A995,color:#315D49
    style D fill:#EAF3EC,stroke:#83A995,color:#315D49
    style E fill:#DCEFE5,stroke:#4F8B70,color:#24563F
    style F fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
    style G fill:#DCEFE5,stroke:#4F8B70,color:#24563F
    style H fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
    style I fill:#E5F0E9,stroke:#83A995,color:#315D49
    style J fill:#F7F4E8,stroke:#C7B77A,color:#675A2D
    style K fill:#F7F4E8,stroke:#C7B77A,color:#675A2D

不同 TTS 架构并不一定严格采用上述模块划分。

例如:

  • Tacotron 2 采用文本到 Mel 频谱的声学建模,再通过 WaveNet 等声码器生成波形。
  • FastSpeech 2 使用显式时长、音高和能量建模。
  • VITS 将变分推断、对抗训练和流模型等思想结合在端到端语音生成架构中。
  • 部分新型语音模型使用离散语音 Token、自回归生成或扩散模型,不再严格遵循传统的 Mel 频谱加声码器结构。

理解传统架构是理解现代 TTS 的基础。


三、文本前处理:从原始文本到可发音表示

文本前处理的目标,是将自然语言文本转换为模型能够稳定处理的语言表示。

这一阶段容易被低估,但它直接影响最终发音是否正确。

1. 文本规范化 Text Normalization

自然语言文本中存在大量非标准书写形式。

例如:

原始文本:
今天是2026年11月19日,温度为23.5℃。

规范化文本:
今天是二零二六年十一月十九日,温度为二十三点五摄氏度。

文本规范化需要处理:

类型 输入示例 转换结果
数字 123 一百二十三
日期 2026-11-19 二零二六年十一月十九日
时间 08:30 八点三十分
小数 3.14 三点一四
百分比 80% 百分之八十
货币 ¥100 一百元
单位 10km 十千米
缩写 AI 根据语言规则转换为字母读音或对应名称

需要注意,规范化结果依赖上下文。

例如:

  • 2026 可能读作“二零二六”,也可能读作“两千零二十六”。
  • 1/2 可能表示分数、日期或比例。
  • 12 可能表示数量、编号、月份或时间。

因此,文本规范化不能只依赖简单的字符串替换,还需要结合语言规则和上下文判断。

2. 分词与 Tokenization

规范化之后,文本通常需要经过分词或 Token 化。

例如:

输入:
人工智能正在改变软件开发方式。

分词:
人工智能 / 正在 / 改变 / 软件 / 开发 / 方式

不同模型可能使用:

  • 字符级 Token。
  • 词级 Token。
  • 子词 Token。
  • 音素 Token。
  • 离散语音 Token。

需要区分两个概念:

文本 Token 不等于音素。

文本 Token 是模型处理文本时使用的离散符号单位;音素则是语言中具有区别词义功能的最小语音单位。

有些模型直接处理字符或子词,有些模型会先把文本转换为音素序列。

3. 音素 Phoneme

音素是语音建模的重要基础。

例如,英文单词 cat 可以表示为三个音素:

/k/ /æ/ /t/

模型通过音素表示,可以更加明确地知道每个字符或单词应该如何发音。

中文的音素处理通常涉及声母、韵母和声调。

例如:

你好

你:n + i + 第三声
好:h + ao + 第三声

实际系统可能使用拼音、音素符号或专门设计的语言学表示。

音素的作用主要包括:

  • 消除部分拼写与发音之间的歧义。
  • 提供更明确的发音单位。
  • 支持多语言发音建模。
  • 改善模型对生僻词和复杂词汇的处理能力。

4. Grapheme 与 Phoneme

TTS 中经常涉及两个概念:

  • Grapheme:文字或字形单位。
  • Phoneme:音素单位。

两者并不是一一对应关系。

例如,英文中同一个字母组合可能对应不同发音:

read(现在时)
read(过去时)

两者拼写相同,但发音不同。

中文中也存在多音字:

银行:yín háng
行走:xíng zǒu

如果模型只依据单个汉字映射发音,就很难正确处理这种情况。

因此,现代 TTS 通常需要利用上下文信息判断发音,而不是单纯建立字符到音素的静态映射。


四、文本编码器 Text Encoder

完成文本前处理后,模型需要将离散文本表示转换为连续向量。

这就是文本编码器的主要职责。

1. Embedding 层

假设输入文本经过 Tokenizer 后得到:

X=[x_1,x_2,\ldots,x_N]

每个 Token 对应一个整数 ID。

Embedding 层将其映射到连续向量空间:

E_i=Embedding(x_i)

最终得到文本向量序列:

E=[E_1,E_2,\ldots,E_N]

其中:

  • N:输入 Token 数量。
  • E_i:第 i 个 Token 的向量表示。
  • d:Embedding 维度。

可以将其理解为:模型不再直接处理字符或 Token ID,而是处理能够通过训练学习的连续向量。

2. 上下文编码

仅有 Embedding 还不够。

模型需要理解 Token 之间的上下文关系。

例如:

我在银行工作。
我把自行车停在河边。

相同或相近的字词可能具有不同语义,最终对应的发音和语言表达也需要依赖上下文。

文本编码器通常采用:

  • CNN。
  • RNN。
  • LSTM。
  • Transformer。
  • Conformer 等结构。

Transformer 编码器可以通过 Self-Attention 建模文本中不同位置之间的关系。

其核心计算为:

Attention(Q,K,V) = Softmax\left( \frac{QK^T}{\sqrt{d_k}} \right)V

其中:

  • Q:Query。
  • K:Key。
  • V:Value。
  • d_k:Key 的维度。

Attention 使模型能够根据当前 Token 的上下文,动态聚合其他 Token 的信息。

3. 文本编码器的输出

文本编码器最终输出一组上下文向量:

H=[h_1,h_2,\ldots,h_N]

这些向量包含文本内容、上下文和语言结构信息。

接下来,声学模型需要根据这些信息生成对应的语音特征。


五、声学模型 Acoustic Model

声学模型是 TTS 的核心组件之一。

它负责建立文本表示与语音声学特征之间的映射关系。

传统 TTS 中,声学模型通常输出 Mel 频谱;现代模型也可能直接预测其他声学表示,甚至直接生成波形或离散语音 Token。

1. 什么是 Mel Spectrogram?

Mel Spectrogram,即梅尔频谱,是语音处理中常见的时频表示。

原始音频是随时间变化的波形:

x(t)

直接在时域中建模复杂波形,通常需要处理大量采样点。

因此,语音系统经常先将波形转换为时频特征。

典型过程:

flowchart TD
    A["原始音频波形"] --> B["分帧与加窗"]
    B --> C["短时傅里叶变换 STFT"]
    C --> D["功率谱计算"]
    D --> E["Mel 滤波器组"]
    E --> F["取对数"]
    F --> G["Log-Mel Spectrogram"]

    style A fill:#DCEFE5,stroke:#4F8B70,color:#24563F
    style B fill:#EAF3EC,stroke:#83A995,color:#315D49
    style C fill:#EAF3EC,stroke:#83A995,color:#315D49
    style D fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
    style E fill:#EAF3EC,stroke:#83A995,color:#315D49
    style F fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
    style G fill:#E5F0E9,stroke:#83A995,color:#315D49

Mel 频率尺度模拟人耳对不同频率的感知特性。

常见转换公式为:

m(f)=2595\log_{10}\left(1+\frac{f}{700}\right)

其中:

  • f:实际频率,单位 Hz。
  • m(f):Mel 频率。

Mel 频谱将频率轴映射到 Mel 尺度,并通过滤波器组压缩频谱信息。

它可以在保留重要语音特征的同时,减少声学表示的维度。

2. 声学模型预测什么?

以传统 Mel 频谱 TTS 为例,模型的输入是文本编码向量:

H=[h_1,h_2,\ldots,h_N]

输出是声学特征序列:

M=[m_1,m_2,\ldots,m_T]

其中:

  • N:文本 Token 数量。
  • T:音频帧数量。
  • m_t:第 t 帧的 Mel 特征。

这里存在一个重要问题:

文本长度和音频长度并不相同。

例如,一句话可能只有 20 个文本 Token,但生成的 Mel 频谱可能包含数百个时间帧。

因此,模型必须解决文本与音频之间的时间对齐问题。

3. 时长 Duration 建模

每个音素或文本单位在语音中持续的时间不同。

例如:

  • 短促辅音可能持续几十毫秒。
  • 元音通常持续更长时间。
  • 句末停顿可能持续数百毫秒。

时长预测的任务是估计每个输入单位应该占据多少音频帧。

假设输入音素序列为:

P=[p_1,p_2,\ldots,p_N]

对应预测时长:

D=[d_1,d_2,\ldots,d_N]

那么总输出帧数为:

T=\sum_{i=1}^{N}d_i

这意味着时长预测直接影响语音长度、语速和节奏。

4. 音高 Pitch 建模

Pitch 通常指基频 F0,即声带振动产生的基频。

它与语音的音高感知密切相关。

例如:

  • 高音调可能表现出更高的 F0。
  • 低沉声音通常具有较低的 F0。
  • 疑问句、强调和情绪表达可能伴随音高变化。

需要注意:

F0 不等于全部音色信息,也不能单独决定一个人的声音身份。

音色还受到声道形状、共振峰、发声方式和频谱包络等因素影响。

5. 能量 Energy 建模

Energy 用于描述语音信号的能量强弱。

它与音量、发声力度和部分情绪表达有关。

例如:

  • 强调词通常具有更明显的能量变化。
  • 轻声表达可能具有较低能量。
  • 句子中的重读部分可能具有更突出的能量。

在 FastSpeech 2 等架构中,时长、音高和能量可以作为显式的韵律控制变量。


六、主流 TTS 架构与核心模型

现代 TTS 的发展经历了从拼接式合成、统计参数合成到神经网络端到端合成的过程。

1. 拼接式语音合成 Concatenative TTS

拼接式 TTS 依赖预先录制的大量语音片段。

系统根据输入文本查找合适的语音单元,再将多个片段拼接成完整语音。

基本过程:

flowchart TD
    A["输入文本"] --> B["文本分析"]
    B --> C["音素序列"]
    C --> D["语音单元检索"]
    E["预录制语音库"] --> D
    D --> F["语音片段选择"]
    F --> G["片段拼接"]
    G --> H["输出语音"]

    style A fill:#DCEFE5,stroke:#4F8B70,color:#24563F
    style B fill:#EAF3EC,stroke:#83A995,color:#315D49
    style C fill:#EAF3EC,stroke:#83A995,color:#315D49
    style D fill:#DCEFE5,stroke:#4F8B70,color:#24563F
    style E fill:#F7F4E8,stroke:#C7B77A,color:#675A2D
    style F fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
    style G fill:#EAF3EC,stroke:#83A995,color:#315D49
    style H fill:#E5F0E9,stroke:#83A995,color:#315D49

优点:

  • 在语音库覆盖范围内,能够生成比较自然的语音。
  • 不需要复杂的深度神经网络。
  • 可以保留真实录音中的发音细节。

缺点:

  • 语音库需要大量录音。
  • 语音片段拼接处可能产生不自然的断裂。
  • 灵活性有限。
  • 难以随意改变说话风格和情感。

2. 统计参数语音合成 Statistical Parametric TTS

统计参数 TTS 使用统计模型学习文本与声学特征之间的关系。

典型技术包括:

  • HMM:隐马尔可夫模型。
  • GMM:高斯混合模型。
  • DNN:深度神经网络。

传统 HMM TTS 通常通过文本上下文预测声学参数,再利用声码器合成语音。

优点:

  • 相比拼接式方法,模型结构更加灵活。
  • 对语音库的依赖形式发生变化。
  • 可以通过参数控制语速和部分韵律特征。

缺点:

  • 生成语音容易出现过度平滑。
  • 自然度通常不如高质量神经网络 TTS。
  • 声学特征建模和声码器质量会限制最终效果。

3. Tacotron:端到端声学建模

Tacotron 是神经网络 TTS 发展的重要代表。

它采用 Encoder-Decoder 架构,将文本序列映射为 Mel 频谱。

核心结构:

  • Text Encoder:编码文本。
  • Attention:建立文本与语音帧之间的对齐。
  • Decoder:逐步生成声学特征。

Tacotron 的重要突破是利用神经网络直接学习文本到语音特征的映射,减少了传统系统中大量人工设计的模块。

但它存在一些问题:

  • Attention 对齐可能不稳定。
  • 可能出现重复发音。
  • 可能跳过部分文本。
  • 自回归生成速度相对较慢。

4. Tacotron 2

Tacotron 2 在 Tacotron 的基础上改进了声学模型和语音生成结构。

典型架构:

flowchart TD
    A["输入文本"] --> B["字符 Embedding"]
    B --> C["Encoder"]
    C --> D["Attention"]
    D --> E["Autoregressive Decoder"]
    E --> F["Mel Spectrogram"]
    F --> G["WaveNet Vocoder"]
    G --> H["语音波形"]

    style A fill:#DCEFE5,stroke:#4F8B70,color:#24563F
    style B fill:#EAF3EC,stroke:#83A995,color:#315D49
    style C fill:#EAF3EC,stroke:#83A995,color:#315D49
    style D fill:#F7F4E8,stroke:#C7B77A,color:#675A2D
    style E fill:#DCEFE5,stroke:#4F8B70,color:#24563F
    style F fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
    style G fill:#DCEFE5,stroke:#4F8B70,color:#24563F
    style H fill:#E5F0E9,stroke:#83A995,color:#315D49

其中:

  • Encoder 将文本转换为上下文表示。
  • Attention 决定当前生成位置关注哪些文本信息。
  • Decoder 自回归生成 Mel 频谱。
  • WaveNet 将 Mel 频谱转换为音频波形。

Tacotron 2 证明了神经声学模型与高质量神经声码器结合能够产生非常自然的语音。

5. FastSpeech:非自回归语音合成

Tacotron 系列使用自回归 Decoder 逐帧生成声学特征。

这会导致生成速度受到串行计算限制。

FastSpeech 提出了非自回归 TTS 思路。

它引入 Length Regulator,将文本编码序列根据预测时长进行扩展,再并行预测声学特征。

核心结构:

flowchart TD
    A["输入文本"] --> B["文本编码器"]
    B --> C["音素或字符表示"]
    C --> D["时长预测器"]
    D --> E["Length Regulator"]
    E --> F["扩展后的序列"]
    F --> G["声学解码器"]
    G --> H["Mel Spectrogram"]
    H --> I["声码器"]
    I --> J["音频波形"]

    style A fill:#DCEFE5,stroke:#4F8B70,color:#24563F
    style B fill:#EAF3EC,stroke:#83A995,color:#315D49
    style C fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
    style D fill:#F7F4E8,stroke:#C7B77A,color:#675A2D
    style E fill:#DCEFE5,stroke:#4F8B70,color:#24563F
    style F fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
    style G fill:#EAF3EC,stroke:#83A995,color:#315D49
    style H fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
    style I fill:#EAF3EC,stroke:#83A995,color:#315D49
    style J fill:#E5F0E9,stroke:#83A995,color:#315D49

例如,输入三个音素:

P = [p1, p2, p3]

预测时长:

D = [2, 3, 1]

Length Regulator 扩展后:

[p1, p1, p2, p2, p2, p3]

这样,Decoder 就可以并行预测每个时间位置的声学特征。

FastSpeech 的优势:

  • 非自回归生成,推理速度较快。
  • 时长控制更加直接。
  • 减少了自回归 Attention 对齐不稳定的问题。

但非自回归模型也有自己的挑战:

  • 时长预测错误会影响发音节奏。
  • 并行生成需要准确的长度信息。
  • 生成质量依赖训练数据和韵律建模能力。

6. FastSpeech 2

FastSpeech 2 进一步引入了多种显式韵律信息:

  • Duration:音素时长。
  • Pitch:音高。
  • Energy:能量。

其核心思想是,不只预测文本对应的声学特征,还显式建模影响语音表现形式的重要变量。

这使模型更容易控制语速、音高和发声力度。

7. VITS:端到端语音合成

VITS(Variational Inference with adversarial learning for end-to-end Text-to-Speech)是具有代表性的端到端 TTS 架构。

它将多个技术组合在一起:

  • 变分推断。
  • Normalizing Flow。
  • 对抗训练。
  • 随机时长建模。
  • 神经波形生成。

与传统的文本到 Mel 频谱、再到波形的两阶段结构不同,VITS 可以直接从文本生成音频波形。

它的重要特点是:

  • 端到端训练。
  • 能够建模语音中的随机变化。
  • 不需要严格依赖独立的 Mel 频谱预测与声码器训练流程。
  • 可以通过随机潜变量表达语音中的多样性。

VITS 的训练和推理涉及多个相互配合的模块,不能简单理解为一个普通的文本到波形映射网络。


七、神经声码器 Neural Vocoder

声学模型生成的 Mel 频谱并不是最终音频。

还需要通过声码器将声学特征转换为实际波形。

声码器是现代神经 TTS 的重要组成部分。

1. 什么是 Vocoder?

Vocoder,即声码器,负责根据声学特征生成音频波形。

输入:

M \in \mathbb{R}^{T\times F}

其中:

  • T:时间帧数。
  • F:频谱特征维度。

输出:

x=[x_1,x_2,\ldots,x_S]

其中 S 是音频采样点数量。

由于一帧 Mel 特征可能对应数百个甚至上千个音频采样点,因此声码器需要完成从低时间分辨率特征到高时间分辨率波形的生成。

2. Griffin-Lim

Griffin-Lim 是一种经典的相位重建算法。

STFT 可以将时域信号转换为频域表示,但仅保留幅度谱时,会丢失相位信息。

Griffin-Lim 通过迭代方式估计相位,使重建的波形尽可能符合目标幅度谱。

它的基本思想是:

  • 从初始相位开始。
  • 使用幅度谱与当前相位重建波形。
  • 对重建波形重新执行 STFT。
  • 保留目标幅度信息并更新相位。
  • 重复迭代。

Griffin-Lim 不依赖神经网络训练,但生成语音的自然度通常有限。

3. WaveNet

WaveNet 是经典的自回归神经波形生成模型。

它直接在时域预测下一个音频采样点:

P(x)=\prod_{t=1}^{T}P(x_t|x_1,\ldots,x_{t-1})

其核心思想是:

利用历史采样点预测当前采样点的概率分布。

WaveNet 的重要技术包括:

  • Causal Convolution:因果卷积。
  • Dilated Convolution:扩张卷积。
  • Residual Connection:残差连接。
  • Skip Connection:跳跃连接。

扩张卷积能够在不显著增加网络层数的情况下扩大感受野。

但自回归采样需要依次生成每个采样点,因此推理速度较慢。

4. WaveGlow

WaveGlow 将 Normalizing Flow 用于语音波形生成。

它通过可逆变换建立简单先验分布与复杂音频分布之间的映射关系。

相比 WaveNet,WaveGlow 能够利用并行计算生成波形,因此在推理速度方面具有优势。

5. HiFi-GAN

HiFi-GAN 是广泛使用的非自回归神经声码器之一。

它采用生成对抗网络结构,主要包括:

  • Generator:根据 Mel 频谱生成波形。
  • Multi-Period Discriminator:从不同周期尺度判断生成音频的真实性。
  • Multi-Scale Discriminator:从不同时间尺度判断音频质量。

它通过多种判别器约束生成波形,使模型学习更丰富的周期性和时间结构。

HiFi-GAN 的优势包括:

  • 生成速度快。
  • 音质较高。
  • 计算效率较好。
  • 适合与 FastSpeech 等声学模型组合。

6. 声码器对比

声码器 核心技术 主要特点
Griffin-Lim 迭代相位重建 不需要神经网络训练
WaveNet 自回归卷积 高质量,但生成较慢
WaveGlow Normalizing Flow 支持并行波形生成
HiFi-GAN GAN 高质量、高效率
BigVGAN 改进型 GAN 强化复杂语音波形建模
UnivNet GAN 多分辨率声学建模

需要注意,声码器质量不仅取决于模型结构,还受到训练数据、采样率、声学特征配置和推理参数影响。


八、语音韵律建模 Prosody Modeling

一段语音是否自然,不仅取决于发音是否正确,还取决于韵律是否合理。

韵律是语音在时间和表达层面的组织方式。

主要包含:

  • 时长 Duration。
  • 音高 Pitch。
  • 能量 Energy。
  • 停顿 Pause。
  • 重音 Stress。
  • 语调 Intonation。
  • 节奏 Rhythm。

1. 时长与语速

同一句话可以用不同速度表达。

例如:

普通语速:
今天我们讨论人工智能的发展。

较慢语速:
今天,我们讨论人工智能的发展。

语速控制不仅是简单地改变播放速度。

直接调整音频播放速度,可能同时改变音高和音色。

更理想的方法是通过时长预测器控制音素或语音帧的持续时间。

2. 音高与语调

音高变化会影响句子的表达方式。

例如:

  • 陈述句通常具有相对稳定的语调走势。
  • 疑问句可能具有特定的句末音高变化。
  • 强调句可能通过音高变化突出重点。
  • 情感表达可能伴随更复杂的音高变化。

对于中文 TTS,还需要特别注意声调。

中文的声调属于词汇层面的区别性语音特征,不能简单等同于句子层面的语调。

例如:

妈:mā
麻:má
马:mǎ
骂:mà

声调错误可能直接改变词义。

3. 停顿与节奏

停顿是自然语音的重要组成部分。

系统需要识别:

  • 词语之间的自然停顿。
  • 短句之间的停顿。
  • 标点对应的停顿。
  • 语义分段产生的停顿。
  • 情绪表达中的特殊停顿。

但标点和停顿并不是简单的一一映射。

例如,逗号不一定对应固定时长,句号也不一定始终对应相同的停顿长度。

模型需要结合上下文和表达风格进行建模。

4. 情感语音合成

情感 TTS 试图让生成语音具备不同的情感表达。

常见情感类型:

  • 高兴。
  • 悲伤。
  • 愤怒。
  • 平静。
  • 惊讶。
  • 兴奋。
  • 温柔。

情感控制通常可以通过以下方式实现:

  1. 使用情感类别标签。
  2. 使用连续情感向量。
  3. 使用参考音频提取风格特征。
  4. 使用文本指令控制表达方式。
  5. 使用多说话人、多风格训练数据学习表达差异。

情感不是一个独立的音高参数,而是多个声学维度共同作用的结果。

同一种情感可能同时影响音高、能量、语速、音质和停顿。


九、声音克隆与多说话人 TTS

现代 TTS 不仅能够生成语音,还能够控制生成语音的说话人特征。

其中,声音克隆(Voice Cloning)是重要应用方向。

1. 多说话人语音合成

多说话人 TTS 需要让同一个模型生成不同人的声音。

通常通过 Speaker Embedding 实现。

假设文本编码结果为:

H=[h_1,h_2,\ldots,h_N]

说话人向量为:

s=SpeakerEncoder(a)

其中 a 可以是参考音频。

模型将说话人信息融合到文本或声学表示中:

H'=Fusion(H,s)

之后根据融合后的表示生成目标语音。

说话人向量通常用于表达相对稳定的声音身份特征,例如音色和发声习惯。

但实际模型中,Speaker Embedding 是否完全独立于语言、情绪和录音环境,需要通过模型设计与训练方式共同保证。

2. Zero-shot Voice Cloning

Zero-shot Voice Cloning 指模型不需要针对目标说话人进行专门微调,就能够根据少量参考音频生成接近该说话人声音的语音。

典型过程:

flowchart TD
    A["输入文本"] --> D["TTS 生成模型"]
    B["参考音频"] --> C["说话人特征提取"]
    C --> D
    D --> E["生成目标语音"]
    F["语言与风格控制"] --> D

    style A fill:#DCEFE5,stroke:#4F8B70,color:#24563F
    style B fill:#F7F4E8,stroke:#C7B77A,color:#675A2D
    style C fill:#EAF3EC,stroke:#83A995,color:#315D49
    style D fill:#DCEFE5,stroke:#4F8B70,color:#24563F
    style E fill:#E5F0E9,stroke:#83A995,color:#315D49
    style F fill:#F7F4E8,stroke:#C7B77A,color:#675A2D

Zero-shot 并不意味着完全不需要参考音频,也不意味着所有目标声音都能被准确复现。

最终效果受到以下因素影响:

  • 参考音频长度。
  • 录音质量。
  • 背景噪声。
  • 说话人特征是否明显。
  • 训练数据是否覆盖相应语言和音色。
  • 模型的跨说话人泛化能力。

3. 声音克隆与声音转换的区别

技术 输入 输出 主要目标
Voice Cloning 文本 + 参考声音 合成语音 根据目标声音生成新内容
Voice Conversion 源语音 + 目标声音 转换后的语音 保留内容,改变说话人特征
Multi-speaker TTS 文本 + Speaker ID 合成语音 在已知说话人集合中选择声音

声音克隆涉及身份仿冒和授权问题。

工程应用中应获得目标说话人的明确授权,并建立身份验证、使用范围限制和合成内容标识等机制。


十、扩散模型与新一代语音生成

传统 TTS 大量使用自回归模型和非自回归声学模型。

近年来,扩散模型也被应用于语音生成。

1. 什么是 Diffusion Model?

扩散模型通过两个过程学习数据分布:

  • Forward Process:逐步向数据添加噪声。
  • Reverse Process:学习逐步去噪,恢复目标数据。

在语音生成中,可以将 Mel 频谱或其他声学表示作为生成对象。

前向过程可以抽象为:

q(x_t|x_{t-1}) = \mathcal{N} \left( \sqrt{1-\beta_t}x_{t-1}, \beta_t I \right)

其中:

  • x_t:第 t 步的带噪表示。
  • \beta_t:噪声调度参数。
  • I:单位矩阵。

模型学习预测噪声或等价的去噪目标,再逐步恢复语音表示。

2. 扩散 TTS 的生成过程

flowchart TD
    A["输入文本"] --> B["文本编码器"]
    B --> C["文本条件表示"]
    D["随机噪声"] --> E["扩散去噪网络"]
    C --> E
    E --> F["逐步去噪"]
    F --> G["生成声学特征"]
    G --> H["神经声码器"]
    H --> I["输出语音"]

    style A fill:#DCEFE5,stroke:#4F8B70,color:#24563F
    style B fill:#EAF3EC,stroke:#83A995,color:#315D49
    style C fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
    style D fill:#F7F4E8,stroke:#C7B77A,color:#675A2D
    style E fill:#DCEFE5,stroke:#4F8B70,color:#24563F
    style F fill:#EAF3EC,stroke:#83A995,color:#315D49
    style G fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
    style H fill:#EAF3EC,stroke:#83A995,color:#315D49
    style I fill:#E5F0E9,stroke:#83A995,color:#315D49

扩散模型的优势:

  • 能够建模复杂的数据分布。
  • 可以表达多样化的语音生成结果。
  • 在韵律和声学细节方面具有较强的建模能力。

主要挑战:

  • 通常需要多步去噪。
  • 推理延迟可能较高。
  • 需要优化采样过程才能满足实时生成要求。

3. Flow Matching

Flow Matching 是近年来生成模型的重要技术方向,也被应用于语音生成。

它通过学习连续时间向量场,描述样本从简单分布向目标数据分布的变化过程。

与传统扩散模型常见的随机去噪过程不同,Flow Matching 可以通过学习确定性或随机动力系统实现生成。

其基本形式可以表示为:

\frac{dx_t}{dt}=v_\theta(x_t,t,c)

其中:

  • x_t:当前生成状态。
  • t:连续时间。
  • c:文本或其他条件信息。
  • v_\theta:模型预测的速度场。

模型通过数值积分求解这一过程,逐步生成目标语音表示。

Flow Matching 并不意味着一定比扩散模型更快,最终速度取决于网络结构、求解器、采样步数和硬件实现。