返回专栏
· 24 分钟阅读

AI 语音识别 ASR:从音频信号到文本的完整技术原理


一、什么是 AI 语音识别 ASR?

ASR(Automatic Speech Recognition,自动语音识别)是一种将语音信号自动转换为文本的人工智能技术。

例如,用户说:

今天天气不错,我们下午去公园散步吧。

ASR 系统需要从音频中识别出对应的文字:

输入音频:
一段包含人类语音的数字音频信号

识别文本:
今天天气不错,我们下午去公园散步吧。

ASR 的核心任务是从连续变化的声音信号中,推断说话人实际表达的语言内容。

它并不是简单地将声音转换成文字,而是需要解决一系列复杂问题:

  • 声音信号中哪些部分属于语音?
  • 每个时间片段对应哪些发音?
  • 不同发音如何组合成音节和词语?
  • 如何根据上下文判断同音词?
  • 如何处理口音、噪声、语速和停顿?
  • 如何确定句子边界和标点符号?

例如,中文中的:

  • 公事
  • 攻势
  • 公式

在某些语境下可能具有相同或接近的发音,ASR 需要结合上下文判断正确的文字表达。

1.1 ASR 的主要应用

应用领域 典型场景
语音输入 手机、电脑语音输入法
会议转录 会议录音转文字
实时字幕 视频字幕、直播字幕
智能客服 电话语音识别
语音助手 语音指令识别
语音搜索 通过语音搜索内容
语音翻译 语音识别后进行语言翻译
语音分析 通话质检、客服分析

1.2 ASR 与其他语音技术的区别

ASR 只是语音 AI 技术体系中的一个重要组成部分。

技术 英文名称 核心任务
ASR Automatic Speech Recognition 语音转文本
TTS Text-to-Speech 文本转语音
STT Speech-to-Text 语音转文本,常作为 ASR 的另一种称呼
TTS Voice Cloning Voice Cloning 语音克隆
Speaker Recognition Speaker Recognition 说话人识别
Speaker Diarization Speaker Diarization 判断不同时间段由谁说话
VAD Voice Activity Detection 检测语音活动区间
Speech Translation Speech Translation 语音翻译

需要区分两个概念:

  • ASR 关注说话人说了什么。
  • Speaker Diarization 关注不同时间段是谁在说话。

两者可以组合使用,例如会议转录系统既要识别文字,也要区分发言人。

二、ASR 的整体工作架构

一个典型的语音识别系统包含以下几个核心阶段:

  1. 音频采集。
  2. 音频预处理。
  3. 语音活动检测。
  4. 声学特征提取。
  5. 声学模型或语音编码器。
  6. 语言建模与解码。
  7. 文本后处理。
flowchart TD
    A["输入语音音频"] --> B["音频预处理"]
    B --> C["语音活动检测 VAD"]
    C --> D["音频特征提取"]
    D --> E["声学建模"]
    E --> F["语言建模与解码"]
    F --> G["文本后处理"]
    G --> H["输出识别文本"]

    style A fill:#DCEFE5,stroke:#4F8B70,color:#24563F
    style B fill:#EAF3EC,stroke:#83A995,color:#315D49
    style C fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
    style D fill:#EAF3EC,stroke:#83A995,color:#315D49
    style E fill:#DCEFE5,stroke:#4F8B70,color:#24563F
    style F fill:#EAF3EC,stroke:#83A995,color:#315D49
    style G fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
    style H fill:#DCEFE5,stroke:#4F8B70,color:#24563F

这是一个概念性流程。现代端到端 ASR 模型可能将声学建模、语言建模和部分解码过程统一在一个神经网络中,不再显式使用传统系统中的独立模块。

三、音频信号:计算机如何表示人类语音?

理解 ASR,需要先理解语音的数字化过程。

人类说话时,声带振动、气流运动以及口腔和鼻腔的共鸣共同形成声音。麦克风将声音转换为电信号,再通过模数转换器(ADC)将连续信号转换成数字采样序列。

3.1 声音的基本表示

声音本质上是一种随时间变化的机械波。

数字音频可以表示为:

x=[x_1,x_2,\ldots,x_N]

其中:

  • x_n:第 n 个采样点的振幅。
  • N:采样点数量。

例如,一段 16kHz 的单声道音频,每秒包含:

16000

个采样点。

如果音频持续 10 秒,那么采样点数量为:

N=16000\times10=160000

这意味着系统需要处理 16 万个离散采样值。

3.2 采样率(Sample Rate)

采样率表示每秒钟采集多少个音频样本,单位是 Hz。

常见采样率:

采样率 常见用途
8kHz 传统窄带电话语音
16kHz 常见语音识别输入
22.05kHz 部分音频应用
24kHz 部分语音生成与处理系统
44.1kHz CD 音频
48kHz 视频、专业音频

采样率越高,能够表示的频率范围通常越大,但数据量也会增加。

根据奈奎斯特采样定理:

f_s>2f_{\max}

其中:

  • f_s:采样率。
  • f_{\max}:需要保留的最高信号频率。

如果采样率不足,可能产生混叠(Aliasing),使高频信号错误地映射到低频区域。

因此,音频采集时通常需要配合抗混叠低通滤波器。

注意:改变音频文件的采样率不只是修改文件头中的采样率数字,而是需要进行真正的重采样(Resampling)。

3.3 位深(Bit Depth)

位深表示每个采样点使用多少位表示振幅。

常见位深:

  • 8-bit
  • 16-bit
  • 24-bit
  • 32-bit Float

以 16-bit PCM 为例,每个采样点使用 16 位整数表示。

其理论量化级数为:

2^{16}=65536

位深越高,通常能够提供更高的量化精度和动态范围。

对于语音识别来说,采样率和位深都会影响输入音频质量,但并不是越高就一定能提高识别准确率。模型的训练配置、输入要求和实际噪声环境同样重要。

3.4 声道(Channel)

常见音频格式包括:

  • Mono:单声道。
  • Stereo:双声道。
  • Multi-channel:多声道。

双声道音频可以保留左右声道的空间信息。

在语音识别中,系统可能将多声道音频转换为单声道,也可能利用多个麦克风的空间信息进行波束形成(Beamforming),增强目标说话人的语音。

四、音频预处理:让语音信号适合模型处理

真实环境中的音频往往并不理想。

例如:

  • 背景噪声。
  • 空调和风扇声音。
  • 多人同时说话。
  • 麦克风距离过远。
  • 音量过低。
  • 音频采样率不一致。
  • 录音设备产生的失真。

如果直接将这些音频输入模型,识别准确率可能明显下降。

因此,ASR 系统通常需要执行音频预处理。

4.1 音频预处理的主要操作

操作 作用
重采样 将音频转换为模型要求的采样率
声道转换 统一音频声道格式
音量归一化 调整音频振幅范围
降噪 减少背景噪声
静音检测 去除无效静音片段
语音增强 改善语音信号质量
分帧 将连续音频切分为短时间窗口

4.2 预加重(Pre-emphasis)

传统语音处理系统经常使用预加重处理。

语音信号的高频部分通常比低频部分能量弱,预加重可以增强高频成分。

其表达式为:

y[n]=x[n]-\alpha x[n-1]

其中:

  • x[n]:当前采样值。
  • x[n-1]:前一个采样值。
  • \alpha:预加重系数,常见取值接近 0.95。

预加重曾广泛用于传统 MFCC 特征提取流程。

现代神经网络 ASR 不一定需要显式预加重,是否使用取决于模型的输入设计和训练配置。

4.3 语音活动检测 VAD

VAD(Voice Activity Detection)用于判断音频中的某个时间区间是否包含人类语音。

例如:

音频:
[静音] [语音] [语音] [静音] [语音] [静音]

VAD 结果:
[非语音] [语音] [语音] [非语音] [语音] [非语音]

VAD 可以减少无效音频的计算成本,并帮助系统确定语音片段边界。

典型 VAD 处理过程:

flowchart TD
    A["输入连续音频"] --> B["分帧"]
    B --> C["提取能量与频谱特征"]
    C --> D["语音活动分类"]
    D --> E{"是否包含语音"}
    E -->|"是"| F["保留语音片段"]
    E -->|"否"| G["标记为非语音"]
    F --> H["送入 ASR"]
    G --> I["跳过或保留时间戳"]

    style A fill:#DCEFE5,stroke:#4F8B70,color:#24563F
    style B fill:#EAF3EC,stroke:#83A995,color:#315D49
    style C fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
    style D fill:#EAF3EC,stroke:#83A995,color:#315D49
    style E fill:#F7F4E8,stroke:#C7B77A,color:#675A2D
    style F fill:#DCEFE5,stroke:#4F8B70,color:#24563F
    style G fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
    style H fill:#DCEFE5,stroke:#4F8B70,color:#24563F
    style I fill:#F5F8F4,stroke:#B5CBBB,color:#40594A

VAD 需要注意两个问题:

  • 漏检:真实语音被错误判断为静音。
  • 误检:噪声被错误判断为语音。

如果 VAD 错误地删除了语音片段,后续 ASR 模型就无法恢复被删除的信息。

五、声学特征提取:如何把声音转换为模型特征?

音频是连续的时间信号,但神经网络通常需要具有固定结构的特征张量作为输入。

因此,ASR 通常需要将原始波形转换为声学特征。

常见特征包括:

  • 时域特征。
  • 频域特征。
  • 短时傅里叶变换(STFT)。
  • Mel Spectrogram。
  • MFCC。
  • 学习型声学特征。

5.1 为什么需要分帧?

语音信号具有明显的时间变化特征。

如果直接对整段音频进行频谱分析,就很难准确描述声音在不同时间段的变化。

因此,传统语音处理通常采用短时分析方法,将音频切分为多个短帧。

例如:

  • 帧长:25ms。
  • 帧移:10ms。
  • 采样率:16kHz。

每帧包含:

16000\times0.025=400

个采样点。

每次向前移动:

16000\times0.01=160

个采样点。

由于帧移小于帧长,相邻帧之间会存在重叠。

flowchart TD
    A["连续音频信号"] --> B["设置帧长与帧移"]
    B --> C["切分音频帧"]
    C --> D["加窗处理"]
    D --> E["逐帧频谱分析"]
    E --> F["生成时频特征"]

    style A fill:#DCEFE5,stroke:#4F8B70,color:#24563F
    style B fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
    style C fill:#EAF3EC,stroke:#83A995,color:#315D49
    style D fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
    style E fill:#EAF3EC,stroke:#83A995,color:#315D49
    style F fill:#DCEFE5,stroke:#4F8B70,color:#24563F

5.2 短时傅里叶变换 STFT

STFT(Short-Time Fourier Transform)用于分析音频信号在不同时间窗口中的频率成分。

公式:

X(m,k)= \sum_{n=0}^{N-1} x[n+mH]w[n]e^{-j2\pi kn/N}

其中:

  • m:时间帧索引。
  • k:频率索引。
  • N:FFT 窗口长度。
  • H:帧移长度。
  • w[n]:窗函数。
  • x[n]:原始音频信号。

STFT 的结果是复数矩阵,包含幅度和相位信息。

在语音识别中,通常会进一步计算幅度谱或功率谱:

S(m,k)=|X(m,k)|^2

这样就能够得到音频在时间和频率维度上的能量分布。

5.3 Mel Spectrogram

Mel Spectrogram 是语音识别中常见的声学特征。

它基于 Mel 频率尺度,将普通频率映射为更符合人类听觉感知特点的频率表示。

Mel 频率与普通频率的一种常见转换公式为:

m=2595\log_{10}\left(1+\frac{f}{700}\right)

其中:

  • f:普通频率,单位 Hz。
  • m:Mel 频率。

Mel Spectrogram 的典型处理过程:

flowchart TD
    A["原始音频"] --> B["分帧与加窗"]
    B --> C["STFT"]
    C --> D["功率谱"]
    D --> E["Mel 滤波器组"]
    E --> F["对数压缩"]
    F --> G["Mel Spectrogram"]

    style A fill:#DCEFE5,stroke:#4F8B70,color:#24563F
    style B fill:#EAF3EC,stroke:#83A995,color:#315D49
    style C fill:#EAF3EC,stroke:#83A995,color:#315D49
    style D fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
    style E fill:#EAF3EC,stroke:#83A995,color:#315D49
    style F fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
    style G fill:#DCEFE5,stroke:#4F8B70,color:#24563F

Mel Spectrogram 可以看作一张二维特征图:

  • 横轴:时间。
  • 纵轴:Mel 频率。
  • 像素值:对应频率区间的能量。

神经网络可以直接处理这类二维特征。

5.4 MFCC 特征

MFCC(Mel-Frequency Cepstral Coefficients,梅尔频率倒谱系数)是传统 ASR 中非常经典的声学特征。

其主要处理过程:

  1. 对音频分帧。
  2. 计算 STFT。
  3. 计算功率谱。
  4. 使用 Mel 滤波器组。
  5. 对 Mel 能量取对数。
  6. 进行离散余弦变换(DCT)。
  7. 选取部分系数作为 MFCC 特征。

MFCC 可以简化表示为:

c_n= \sum_{m=1}^{M} \log(E_m) \cos\left[ \frac{\pi n}{M}(m-\frac{1}{2}) \right]

其中:

  • E_m:第 m 个 Mel 滤波器的能量。
  • M:Mel 滤波器数量。
  • c_n:第 n 个 MFCC 系数。

MFCC 能够压缩声学信息,保留与语音识别相关的部分频谱特征。

5.5 MFCC 与 Mel Spectrogram 的区别

对比维度 MFCC Mel Spectrogram
表示形式 倒谱系数 Mel 频谱能量
变换方式 Mel 滤波后进行 DCT Mel 滤波后通常取对数
特征维度 通常较低 通常较高
信息保留 经过进一步压缩 保留更多时频细节
传统用途 传统声学模型 神经网络语音识别

现代 ASR 越来越多地直接使用 Log-Mel Spectrogram 或从原始波形中学习特征。

MFCC 仍然具有研究和工程价值,但并不是现代 ASR 必须采用的输入特征。

六、声学模型:如何从声音特征识别语音?

完成声学特征提取后,系统需要判断这些特征对应什么语言内容。

这一过程由声学模型(Acoustic Model)或现代语音编码器完成。

传统 ASR 与现代端到端 ASR 在这里存在明显差异。

6.1 传统声学模型

传统 ASR 通常采用:

  • GMM-HMM。
  • DNN-HMM。
  • CNN-HMM。
  • LSTM-HMM。

其中 HMM 是隐马尔可夫模型(Hidden Markov Model)。

HMM 用于建模语音在时间上的状态变化。

语音并不是一个静态信号,而是由连续的发音单元构成。

例如:

语音内容:
你好

可能的音素序列:
n → i → h → au

对应的声学帧:
Frame 1 → Frame 2 → Frame 3 → ...

HMM 通过状态转移概率描述发音状态随时间变化的过程。

6.2 隐马尔可夫模型 HMM

HMM 主要由三个部分构成:

  • 隐状态(Hidden State)。
  • 状态转移概率(Transition Probability)。
  • 观测概率(Emission Probability)。

假设:

S_t

表示第 t 个时间步的隐藏状态,

O_t

表示第 t 个时间步观察到的声学特征。

HMM 的基本假设包括:

状态转移概率:

P(S_t|S_{t-1})

表示当前状态依赖前一个隐藏状态。

观测概率:

P(O_t|S_t)

表示当前声学观测由当前隐藏状态生成的概率。

整体联合概率可以表示为:

P(O,S)=P(S_1) \prod_{t=2}^{T}P(S_t|S_{t-1}) \prod_{t=1}^{T}P(O_t|S_t)

这里的核心问题是:已知声学观测序列 O,如何推断最可能的隐藏状态序列 S。

HMM 通常使用 Viterbi 算法寻找最优状态路径。

6.3 GMM-HMM

传统 GMM-HMM 将高斯混合模型(Gaussian Mixture Model)用于估计声学观测概率。

GMM 可以表示为多个高斯分布的加权组合:

P(x)= \sum_{k=1}^{K} \pi_k\mathcal{N}(x|\mu_k,\Sigma_k)

其中:

  • K:高斯分布数量。
  • \pi_k:混合权重。
  • \mu_k:均值向量。
  • \Sigma_k:协方差矩阵。

GMM-HMM 曾是传统语音识别系统的重要架构。

它的局限在于声学特征和模型表达能力受到较强假设限制,对复杂语音模式的建模能力不足。

6.4 DNN-HMM

深度神经网络可以替代 GMM,估计声学状态的概率。

典型结构:

flowchart TD
    A["声学特征"] --> B["DNN"]
    B --> C["状态概率"]
    C --> D["HMM 状态转移"]
    D --> E["Viterbi 解码"]
    E --> F["音素或状态序列"]

    style A fill:#DCEFE5,stroke:#4F8B70,color:#24563F
    style B fill:#EAF3EC,stroke:#83A995,color:#315D49
    style C fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
    style D fill:#EAF3EC,stroke:#83A995,color:#315D49
    style E fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
    style F fill:#DCEFE5,stroke:#4F8B70,color:#24563F

DNN-HMM 将深度学习的特征表达能力与 HMM 的时间状态建模结合起来。

相比 GMM-HMM,它通常具有更强的声学建模能力。

七、语言模型:为什么 ASR 需要理解上下文?

仅依靠声学特征,有时无法唯一确定识别结果。

例如:

  • 在职。
  • 在职场景中的其他表达。
  • 其他具有相同或近似发音的词语。

尤其是中文,存在大量同音字和同音词。

因此,ASR 需要利用语言模型(Language Model,LM)判断哪些文字组合更加合理。

7.1 声学概率与语言概率

传统 ASR 通常将识别问题表示为:

\hat{W}=\arg\max_W P(W|X)

其中:

  • X:输入音频。
  • W:候选文本。

根据贝叶斯公式:

P(W|X)=\frac{P(X|W)P(W)}{P(X)}

由于 P(X) 对所有候选文本相同,因此:

\hat{W}=\arg\max_W P(X|W)P(W)

其中:

  • P(X|W):声学模型提供的声学匹配概率。
  • P(W):语言模型提供的文本先验概率。

直观理解:

  • 声学模型判断声音更像什么。
  • 语言模型判断哪种文字组合更符合语言规律。

7.2 N-Gram 语言模型

传统语言模型常使用 N-Gram 方法。

例如,Bigram 模型根据前一个词预测当前词:

P(w_1,w_2,\ldots,w_n) = \prod_{i=1}^{n}P(w_i|w_{i-1})

Trigram 模型则根据前两个词预测当前词:

P(w_i|w_{i-2},w_{i-1})

N-Gram 主要依赖有限长度的上下文,容易受到数据稀疏问题影响。

7.3 神经网络语言模型

神经网络语言模型可以通过 Embedding、RNN、Transformer 等架构建模更复杂的上下文关系。

现代 ASR 中,语言建模可能直接集成在端到端网络中,也可能作为独立组件参与解码。

需要注意:现代端到端 ASR 并不一定存在一个独立的传统语言模型。声学信息与语言规律可能已经通过联合训练融入同一个网络。

八、传统 ASR 与端到端 ASR 的区别

传统 ASR 通常由多个独立模块组成。

端到端 ASR 则尝试直接学习从输入音频到输出文本的映射。

8.1 传统 ASR 架构

flowchart TD
    A["输入音频"] --> B["声学特征提取"]
    B --> C["声学模型"]
    C --> D["音素或状态概率"]
    D --> E["发音词典"]
    E --> F["语言模型"]
    F --> G["搜索解码"]
    G --> H["输出文本"]

    style A fill:#DCEFE5,stroke:#4F8B70,color:#24563F
    style B fill:#EAF3EC,stroke:#83A995,color:#315D49
    style C fill:#EAF3EC,stroke:#83A995,color:#315D49
    style D fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
    style E fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
    style F fill:#EAF3EC,stroke:#83A995,color:#315D49
    style G fill:#EAF3EC,stroke:#83A995,color:#315D49
    style H fill:#DCEFE5,stroke:#4F8B70,color:#24563F

传统架构通常需要单独维护:

  • 声学模型。
  • 发音词典。
  • 语言模型。
  • 解码图或搜索空间。

优点是模块边界清晰,可以分别优化。

缺点是系统复杂,训练目标和各模块之间可能存在不一致。

8.2 端到端 ASR

端到端语音识别(End-to-End ASR)直接学习:

X\rightarrow Y

其中:

  • X:输入音频或声学特征。
  • Y:目标文本序列。

典型架构包括:

  • CTC。
  • Attention Encoder-Decoder。
  • RNN-T。
  • Transformer ASR。
  • Conformer ASR。

端到端架构减少了对传统发音词典和独立声学模型的依赖。

flowchart TD
    A["输入音频"] --> B["音频特征提取"]
    B --> C["神经网络编码器"]
    C --> D["序列表示"]
    D --> E["端到端解码器"]
    E --> F["输出文本"]

    style A fill:#DCEFE5,stroke:#4F8B70,color:#24563F
    style B fill:#EAF3EC,stroke:#83A995,color:#315D49
    style C fill:#EAF3EC,stroke:#83A995,color:#315D49
    style D fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
    style E fill:#EAF3EC,stroke:#83A995,color:#315D49
    style F fill:#DCEFE5,stroke:#4F8B70,color:#24563F

九、CTC:解决语音与文本长度不一致的问题

CTC(Connectionist Temporal Classification)是端到端语音识别中的经典训练方法。

它解决了一个核心问题:

输入音频帧数量与输出文本 Token 数量通常不一致,训练数据又没有提供每个音频帧对应哪个字符的精确标注。

例如:

输入音频可能被编码成 100 帧,而目标文本只有 8 个字符。

如果要求模型直接建立每一帧与一个字符之间的固定对应关系,就会非常困难。

CTC 通过引入 Blank(空白)标签,并允许多个时间步映射到同一个输出字符,解决了对齐问题。

9.1 Blank 标签

CTC 会在目标字符集合中增加一个特殊符号:

\varnothing

表示 Blank。

例如,模型可能输出:

时间步:
1     2     3     4     5     6

输出:
空白  你    你    空白  好    好

经过 CTC Collapse:

  1. 合并连续重复字符。
  2. 删除 Blank。

最终得到:

你好

注意:CTC 的处理顺序是先合并连续重复符号,再删除 Blank。因此:

你  空白  你

经过 Collapse 后仍然是两个“你”。

9.2 CTC 的概率建模

假设输入特征序列为:

X=(x_1,x_2,\ldots,x_T)

模型在每个时间步预测一个标签分布:

P(\pi_t|X)

其中 \pi 表示包含字符和 Blank 的路径。

一个路径的概率为:

P(\pi|X)=\prod_{t=1}^{T}P(\pi_t|X)

由于多个不同路径可能映射到相同目标文本 Y,CTC 将这些路径的概率相加:

P(Y|X)= \sum_{\pi\in B^{-1}(Y)}P(\pi|X)

其中:

  • B:CTC Collapse 函数。
  • B^{-1}(Y):所有能够映射到目标文本 Y 的路径集合。

CTC 损失为:

L_{\text{CTC}}=-\log P(Y|X)

9.3 CTC 的特点

优点:

  • 不需要精确的帧级字符对齐标注。
  • 训练过程相对简单。
  • 解码可以采用贪心搜索或 Beam Search。
  • 适合语音到文本的单调序列映射。

局限:

  • 条件独立假设限制了时间步之间的直接依赖建模。
  • 对复杂长距离语言依赖的建模能力有限。
  • 识别结果可能需要额外语言模型改善。

十、Attention Encoder-Decoder:通过注意力机制生成文本

Attention Encoder-Decoder 是另一种重要的端到端 ASR 架构。

它通常包含:

  • Encoder:将音频转换为上下文特征序列。
  • Decoder:根据历史输出和编码器特征生成文本。

10.1 Encoder

输入音频特征:

X=(x_1,x_2,\ldots,x_T)

经过编码器后得到:

H=(h_1,h_2,\ldots,h_T)

其中 h_t 表示对应时间位置的上下文特征。

编码器可以使用:

  • BiLSTM。
  • CNN。
  • Transformer。
  • Conformer。

10.2 Decoder

Decoder 根据已经生成的 Token 和 Encoder 输出,预测下一个 Token:

P(y_t|y_{<t},X)

其中:

  • y_{<t}:此前生成的 Token。
  • X:输入音频。

Decoder 可以通过 Attention 机制从编码器输出中读取与当前生成位置相关的信息。

Attention 权重可以表示为:

\alpha_{t,i} = \frac{\exp(e_{t,i})} {\sum_j\exp(e_{t,j})}

上下文向量:

c_t=\sum_i\alpha_{t,i}h_i

其中:

  • e_{t,i}:第 t 个输出位置与第 i 个音频特征位置的匹配分数。
  • \alpha_{t,i}:注意力权重。
  • c_t:当前输出位置读取到的音频上下文。

10.3 生成过程

flowchart TD
    A["输入音频特征"] --> B["Encoder"]
    B --> C["上下文特征序列"]
    C --> D["Attention"]

    E["历史输出 Token"] --> F["Decoder"]
    D --> F

    F --> G["预测下一个 Token"]
    G --> H{"是否结束"}
    H -->|"否"| F
    H -->|"是"| I["输出识别文本"]

    style A fill:#DCEFE5,stroke:#4F8B70,color:#24563F
    style B fill:#EAF3EC,stroke:#83A995,color:#315D49
    style C fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
    style D fill:#EAF3EC,stroke:#83A995,color:#315D49
    style E fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
    style F fill:#DCEFE5,stroke:#4F8B70,color:#24563F
    style G fill:#EAF3EC,stroke:#83A995,color:#315D49
    style H fill:#F7F4E8,stroke:#C7B77A,color:#675A2D
    style I fill:#DCEFE5,stroke:#4F8B70,color:#24563F

Attention Encoder-Decoder 能够直接建模输出 Token 之间的依赖关系,但普通的全局 Attention 解码器可能存在推理延迟较高、对齐不稳定等问题。

十一、RNN-T:面向流式语音识别的架构

RNN-T(Recurrent Neural Network Transducer)是重要的端到端语音识别架构,尤其适合流式识别。

它由三个核心模块构成:

  • Encoder:处理音频特征。
  • Prediction Network:根据已经输出的 Token 建模语言上下文。
  • Joint Network:融合音频信息和语言上下文,预测下一个输出。

11.1 三个核心模块

Encoder

将音频输入转换为时间序列特征:

h_t^{enc}=Encoder(X)_t

Prediction Network

根据历史输出 Token 生成语言上下文表示:

h_u^{pred}=Prediction(y_{<u})

Joint Network

融合两个模块的输出:

z_{t,u}=Joint(h_t^{enc},h_u^{pred})

随后通过 Softmax 预测输出符号分布。

RNN-T 与 CTC 的一个重要区别是:RNN-T 的预测网络能够显式利用历史输出 Token。