一、什么是 AI 语音识别 ASR?
ASR(Automatic Speech Recognition,自动语音识别)是一种将语音信号自动转换为文本的人工智能技术。
例如,用户说:
今天天气不错,我们下午去公园散步吧。
ASR 系统需要从音频中识别出对应的文字:
输入音频:
一段包含人类语音的数字音频信号
识别文本:
今天天气不错,我们下午去公园散步吧。
ASR 的核心任务是从连续变化的声音信号中,推断说话人实际表达的语言内容。
它并不是简单地将声音转换成文字,而是需要解决一系列复杂问题:
- 声音信号中哪些部分属于语音?
- 每个时间片段对应哪些发音?
- 不同发音如何组合成音节和词语?
- 如何根据上下文判断同音词?
- 如何处理口音、噪声、语速和停顿?
- 如何确定句子边界和标点符号?
例如,中文中的:
- 公事
- 攻势
- 公式
在某些语境下可能具有相同或接近的发音,ASR 需要结合上下文判断正确的文字表达。
1.1 ASR 的主要应用
| 应用领域 | 典型场景 |
|---|---|
| 语音输入 | 手机、电脑语音输入法 |
| 会议转录 | 会议录音转文字 |
| 实时字幕 | 视频字幕、直播字幕 |
| 智能客服 | 电话语音识别 |
| 语音助手 | 语音指令识别 |
| 语音搜索 | 通过语音搜索内容 |
| 语音翻译 | 语音识别后进行语言翻译 |
| 语音分析 | 通话质检、客服分析 |
1.2 ASR 与其他语音技术的区别
ASR 只是语音 AI 技术体系中的一个重要组成部分。
| 技术 | 英文名称 | 核心任务 |
|---|---|---|
| ASR | Automatic Speech Recognition | 语音转文本 |
| TTS | Text-to-Speech | 文本转语音 |
| STT | Speech-to-Text | 语音转文本,常作为 ASR 的另一种称呼 |
| TTS Voice Cloning | Voice Cloning | 语音克隆 |
| Speaker Recognition | Speaker Recognition | 说话人识别 |
| Speaker Diarization | Speaker Diarization | 判断不同时间段由谁说话 |
| VAD | Voice Activity Detection | 检测语音活动区间 |
| Speech Translation | Speech Translation | 语音翻译 |
需要区分两个概念:
- ASR 关注说话人说了什么。
- Speaker Diarization 关注不同时间段是谁在说话。
两者可以组合使用,例如会议转录系统既要识别文字,也要区分发言人。
二、ASR 的整体工作架构
一个典型的语音识别系统包含以下几个核心阶段:
- 音频采集。
- 音频预处理。
- 语音活动检测。
- 声学特征提取。
- 声学模型或语音编码器。
- 语言建模与解码。
- 文本后处理。
flowchart TD
A["输入语音音频"] --> B["音频预处理"]
B --> C["语音活动检测 VAD"]
C --> D["音频特征提取"]
D --> E["声学建模"]
E --> F["语言建模与解码"]
F --> G["文本后处理"]
G --> H["输出识别文本"]
style A fill:#DCEFE5,stroke:#4F8B70,color:#24563F
style B fill:#EAF3EC,stroke:#83A995,color:#315D49
style C fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
style D fill:#EAF3EC,stroke:#83A995,color:#315D49
style E fill:#DCEFE5,stroke:#4F8B70,color:#24563F
style F fill:#EAF3EC,stroke:#83A995,color:#315D49
style G fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
style H fill:#DCEFE5,stroke:#4F8B70,color:#24563F
这是一个概念性流程。现代端到端 ASR 模型可能将声学建模、语言建模和部分解码过程统一在一个神经网络中,不再显式使用传统系统中的独立模块。
三、音频信号:计算机如何表示人类语音?
理解 ASR,需要先理解语音的数字化过程。
人类说话时,声带振动、气流运动以及口腔和鼻腔的共鸣共同形成声音。麦克风将声音转换为电信号,再通过模数转换器(ADC)将连续信号转换成数字采样序列。
3.1 声音的基本表示
声音本质上是一种随时间变化的机械波。
数字音频可以表示为:
其中:
- x_n:第 n 个采样点的振幅。
- N:采样点数量。
例如,一段 16kHz 的单声道音频,每秒包含:
个采样点。
如果音频持续 10 秒,那么采样点数量为:
这意味着系统需要处理 16 万个离散采样值。
3.2 采样率(Sample Rate)
采样率表示每秒钟采集多少个音频样本,单位是 Hz。
常见采样率:
| 采样率 | 常见用途 |
|---|---|
| 8kHz | 传统窄带电话语音 |
| 16kHz | 常见语音识别输入 |
| 22.05kHz | 部分音频应用 |
| 24kHz | 部分语音生成与处理系统 |
| 44.1kHz | CD 音频 |
| 48kHz | 视频、专业音频 |
采样率越高,能够表示的频率范围通常越大,但数据量也会增加。
根据奈奎斯特采样定理:
其中:
- f_s:采样率。
- f_{\max}:需要保留的最高信号频率。
如果采样率不足,可能产生混叠(Aliasing),使高频信号错误地映射到低频区域。
因此,音频采集时通常需要配合抗混叠低通滤波器。
注意:改变音频文件的采样率不只是修改文件头中的采样率数字,而是需要进行真正的重采样(Resampling)。
3.3 位深(Bit Depth)
位深表示每个采样点使用多少位表示振幅。
常见位深:
- 8-bit
- 16-bit
- 24-bit
- 32-bit Float
以 16-bit PCM 为例,每个采样点使用 16 位整数表示。
其理论量化级数为:
位深越高,通常能够提供更高的量化精度和动态范围。
对于语音识别来说,采样率和位深都会影响输入音频质量,但并不是越高就一定能提高识别准确率。模型的训练配置、输入要求和实际噪声环境同样重要。
3.4 声道(Channel)
常见音频格式包括:
- Mono:单声道。
- Stereo:双声道。
- Multi-channel:多声道。
双声道音频可以保留左右声道的空间信息。
在语音识别中,系统可能将多声道音频转换为单声道,也可能利用多个麦克风的空间信息进行波束形成(Beamforming),增强目标说话人的语音。
四、音频预处理:让语音信号适合模型处理
真实环境中的音频往往并不理想。
例如:
- 背景噪声。
- 空调和风扇声音。
- 多人同时说话。
- 麦克风距离过远。
- 音量过低。
- 音频采样率不一致。
- 录音设备产生的失真。
如果直接将这些音频输入模型,识别准确率可能明显下降。
因此,ASR 系统通常需要执行音频预处理。
4.1 音频预处理的主要操作
| 操作 | 作用 |
|---|---|
| 重采样 | 将音频转换为模型要求的采样率 |
| 声道转换 | 统一音频声道格式 |
| 音量归一化 | 调整音频振幅范围 |
| 降噪 | 减少背景噪声 |
| 静音检测 | 去除无效静音片段 |
| 语音增强 | 改善语音信号质量 |
| 分帧 | 将连续音频切分为短时间窗口 |
4.2 预加重(Pre-emphasis)
传统语音处理系统经常使用预加重处理。
语音信号的高频部分通常比低频部分能量弱,预加重可以增强高频成分。
其表达式为:
其中:
- x[n]:当前采样值。
- x[n-1]:前一个采样值。
- \alpha:预加重系数,常见取值接近 0.95。
预加重曾广泛用于传统 MFCC 特征提取流程。
现代神经网络 ASR 不一定需要显式预加重,是否使用取决于模型的输入设计和训练配置。
4.3 语音活动检测 VAD
VAD(Voice Activity Detection)用于判断音频中的某个时间区间是否包含人类语音。
例如:
音频:
[静音] [语音] [语音] [静音] [语音] [静音]
VAD 结果:
[非语音] [语音] [语音] [非语音] [语音] [非语音]
VAD 可以减少无效音频的计算成本,并帮助系统确定语音片段边界。
典型 VAD 处理过程:
flowchart TD
A["输入连续音频"] --> B["分帧"]
B --> C["提取能量与频谱特征"]
C --> D["语音活动分类"]
D --> E{"是否包含语音"}
E -->|"是"| F["保留语音片段"]
E -->|"否"| G["标记为非语音"]
F --> H["送入 ASR"]
G --> I["跳过或保留时间戳"]
style A fill:#DCEFE5,stroke:#4F8B70,color:#24563F
style B fill:#EAF3EC,stroke:#83A995,color:#315D49
style C fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
style D fill:#EAF3EC,stroke:#83A995,color:#315D49
style E fill:#F7F4E8,stroke:#C7B77A,color:#675A2D
style F fill:#DCEFE5,stroke:#4F8B70,color:#24563F
style G fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
style H fill:#DCEFE5,stroke:#4F8B70,color:#24563F
style I fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
VAD 需要注意两个问题:
- 漏检:真实语音被错误判断为静音。
- 误检:噪声被错误判断为语音。
如果 VAD 错误地删除了语音片段,后续 ASR 模型就无法恢复被删除的信息。
五、声学特征提取:如何把声音转换为模型特征?
音频是连续的时间信号,但神经网络通常需要具有固定结构的特征张量作为输入。
因此,ASR 通常需要将原始波形转换为声学特征。
常见特征包括:
- 时域特征。
- 频域特征。
- 短时傅里叶变换(STFT)。
- Mel Spectrogram。
- MFCC。
- 学习型声学特征。
5.1 为什么需要分帧?
语音信号具有明显的时间变化特征。
如果直接对整段音频进行频谱分析,就很难准确描述声音在不同时间段的变化。
因此,传统语音处理通常采用短时分析方法,将音频切分为多个短帧。
例如:
- 帧长:25ms。
- 帧移:10ms。
- 采样率:16kHz。
每帧包含:
个采样点。
每次向前移动:
个采样点。
由于帧移小于帧长,相邻帧之间会存在重叠。
flowchart TD
A["连续音频信号"] --> B["设置帧长与帧移"]
B --> C["切分音频帧"]
C --> D["加窗处理"]
D --> E["逐帧频谱分析"]
E --> F["生成时频特征"]
style A fill:#DCEFE5,stroke:#4F8B70,color:#24563F
style B fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
style C fill:#EAF3EC,stroke:#83A995,color:#315D49
style D fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
style E fill:#EAF3EC,stroke:#83A995,color:#315D49
style F fill:#DCEFE5,stroke:#4F8B70,color:#24563F
5.2 短时傅里叶变换 STFT
STFT(Short-Time Fourier Transform)用于分析音频信号在不同时间窗口中的频率成分。
公式:
其中:
- m:时间帧索引。
- k:频率索引。
- N:FFT 窗口长度。
- H:帧移长度。
- w[n]:窗函数。
- x[n]:原始音频信号。
STFT 的结果是复数矩阵,包含幅度和相位信息。
在语音识别中,通常会进一步计算幅度谱或功率谱:
这样就能够得到音频在时间和频率维度上的能量分布。
5.3 Mel Spectrogram
Mel Spectrogram 是语音识别中常见的声学特征。
它基于 Mel 频率尺度,将普通频率映射为更符合人类听觉感知特点的频率表示。
Mel 频率与普通频率的一种常见转换公式为:
其中:
- f:普通频率,单位 Hz。
- m:Mel 频率。
Mel Spectrogram 的典型处理过程:
flowchart TD
A["原始音频"] --> B["分帧与加窗"]
B --> C["STFT"]
C --> D["功率谱"]
D --> E["Mel 滤波器组"]
E --> F["对数压缩"]
F --> G["Mel Spectrogram"]
style A fill:#DCEFE5,stroke:#4F8B70,color:#24563F
style B fill:#EAF3EC,stroke:#83A995,color:#315D49
style C fill:#EAF3EC,stroke:#83A995,color:#315D49
style D fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
style E fill:#EAF3EC,stroke:#83A995,color:#315D49
style F fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
style G fill:#DCEFE5,stroke:#4F8B70,color:#24563F
Mel Spectrogram 可以看作一张二维特征图:
- 横轴:时间。
- 纵轴:Mel 频率。
- 像素值:对应频率区间的能量。
神经网络可以直接处理这类二维特征。
5.4 MFCC 特征
MFCC(Mel-Frequency Cepstral Coefficients,梅尔频率倒谱系数)是传统 ASR 中非常经典的声学特征。
其主要处理过程:
- 对音频分帧。
- 计算 STFT。
- 计算功率谱。
- 使用 Mel 滤波器组。
- 对 Mel 能量取对数。
- 进行离散余弦变换(DCT)。
- 选取部分系数作为 MFCC 特征。
MFCC 可以简化表示为:
其中:
- E_m:第 m 个 Mel 滤波器的能量。
- M:Mel 滤波器数量。
- c_n:第 n 个 MFCC 系数。
MFCC 能够压缩声学信息,保留与语音识别相关的部分频谱特征。
5.5 MFCC 与 Mel Spectrogram 的区别
| 对比维度 | MFCC | Mel Spectrogram |
|---|---|---|
| 表示形式 | 倒谱系数 | Mel 频谱能量 |
| 变换方式 | Mel 滤波后进行 DCT | Mel 滤波后通常取对数 |
| 特征维度 | 通常较低 | 通常较高 |
| 信息保留 | 经过进一步压缩 | 保留更多时频细节 |
| 传统用途 | 传统声学模型 | 神经网络语音识别 |
现代 ASR 越来越多地直接使用 Log-Mel Spectrogram 或从原始波形中学习特征。
MFCC 仍然具有研究和工程价值,但并不是现代 ASR 必须采用的输入特征。
六、声学模型:如何从声音特征识别语音?
完成声学特征提取后,系统需要判断这些特征对应什么语言内容。
这一过程由声学模型(Acoustic Model)或现代语音编码器完成。
传统 ASR 与现代端到端 ASR 在这里存在明显差异。
6.1 传统声学模型
传统 ASR 通常采用:
- GMM-HMM。
- DNN-HMM。
- CNN-HMM。
- LSTM-HMM。
其中 HMM 是隐马尔可夫模型(Hidden Markov Model)。
HMM 用于建模语音在时间上的状态变化。
语音并不是一个静态信号,而是由连续的发音单元构成。
例如:
语音内容:
你好
可能的音素序列:
n → i → h → au
对应的声学帧:
Frame 1 → Frame 2 → Frame 3 → ...
HMM 通过状态转移概率描述发音状态随时间变化的过程。
6.2 隐马尔可夫模型 HMM
HMM 主要由三个部分构成:
- 隐状态(Hidden State)。
- 状态转移概率(Transition Probability)。
- 观测概率(Emission Probability)。
假设:
表示第 t 个时间步的隐藏状态,
表示第 t 个时间步观察到的声学特征。
HMM 的基本假设包括:
状态转移概率:
表示当前状态依赖前一个隐藏状态。
观测概率:
表示当前声学观测由当前隐藏状态生成的概率。
整体联合概率可以表示为:
这里的核心问题是:已知声学观测序列 O,如何推断最可能的隐藏状态序列 S。
HMM 通常使用 Viterbi 算法寻找最优状态路径。
6.3 GMM-HMM
传统 GMM-HMM 将高斯混合模型(Gaussian Mixture Model)用于估计声学观测概率。
GMM 可以表示为多个高斯分布的加权组合:
其中:
- K:高斯分布数量。
- \pi_k:混合权重。
- \mu_k:均值向量。
- \Sigma_k:协方差矩阵。
GMM-HMM 曾是传统语音识别系统的重要架构。
它的局限在于声学特征和模型表达能力受到较强假设限制,对复杂语音模式的建模能力不足。
6.4 DNN-HMM
深度神经网络可以替代 GMM,估计声学状态的概率。
典型结构:
flowchart TD
A["声学特征"] --> B["DNN"]
B --> C["状态概率"]
C --> D["HMM 状态转移"]
D --> E["Viterbi 解码"]
E --> F["音素或状态序列"]
style A fill:#DCEFE5,stroke:#4F8B70,color:#24563F
style B fill:#EAF3EC,stroke:#83A995,color:#315D49
style C fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
style D fill:#EAF3EC,stroke:#83A995,color:#315D49
style E fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
style F fill:#DCEFE5,stroke:#4F8B70,color:#24563F
DNN-HMM 将深度学习的特征表达能力与 HMM 的时间状态建模结合起来。
相比 GMM-HMM,它通常具有更强的声学建模能力。
七、语言模型:为什么 ASR 需要理解上下文?
仅依靠声学特征,有时无法唯一确定识别结果。
例如:
- 在职。
- 在职场景中的其他表达。
- 其他具有相同或近似发音的词语。
尤其是中文,存在大量同音字和同音词。
因此,ASR 需要利用语言模型(Language Model,LM)判断哪些文字组合更加合理。
7.1 声学概率与语言概率
传统 ASR 通常将识别问题表示为:
其中:
- X:输入音频。
- W:候选文本。
根据贝叶斯公式:
由于 P(X) 对所有候选文本相同,因此:
其中:
- P(X|W):声学模型提供的声学匹配概率。
- P(W):语言模型提供的文本先验概率。
直观理解:
- 声学模型判断声音更像什么。
- 语言模型判断哪种文字组合更符合语言规律。
7.2 N-Gram 语言模型
传统语言模型常使用 N-Gram 方法。
例如,Bigram 模型根据前一个词预测当前词:
Trigram 模型则根据前两个词预测当前词:
N-Gram 主要依赖有限长度的上下文,容易受到数据稀疏问题影响。
7.3 神经网络语言模型
神经网络语言模型可以通过 Embedding、RNN、Transformer 等架构建模更复杂的上下文关系。
现代 ASR 中,语言建模可能直接集成在端到端网络中,也可能作为独立组件参与解码。
需要注意:现代端到端 ASR 并不一定存在一个独立的传统语言模型。声学信息与语言规律可能已经通过联合训练融入同一个网络。
八、传统 ASR 与端到端 ASR 的区别
传统 ASR 通常由多个独立模块组成。
端到端 ASR 则尝试直接学习从输入音频到输出文本的映射。
8.1 传统 ASR 架构
flowchart TD
A["输入音频"] --> B["声学特征提取"]
B --> C["声学模型"]
C --> D["音素或状态概率"]
D --> E["发音词典"]
E --> F["语言模型"]
F --> G["搜索解码"]
G --> H["输出文本"]
style A fill:#DCEFE5,stroke:#4F8B70,color:#24563F
style B fill:#EAF3EC,stroke:#83A995,color:#315D49
style C fill:#EAF3EC,stroke:#83A995,color:#315D49
style D fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
style E fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
style F fill:#EAF3EC,stroke:#83A995,color:#315D49
style G fill:#EAF3EC,stroke:#83A995,color:#315D49
style H fill:#DCEFE5,stroke:#4F8B70,color:#24563F
传统架构通常需要单独维护:
- 声学模型。
- 发音词典。
- 语言模型。
- 解码图或搜索空间。
优点是模块边界清晰,可以分别优化。
缺点是系统复杂,训练目标和各模块之间可能存在不一致。
8.2 端到端 ASR
端到端语音识别(End-to-End ASR)直接学习:
其中:
- X:输入音频或声学特征。
- Y:目标文本序列。
典型架构包括:
- CTC。
- Attention Encoder-Decoder。
- RNN-T。
- Transformer ASR。
- Conformer ASR。
端到端架构减少了对传统发音词典和独立声学模型的依赖。
flowchart TD
A["输入音频"] --> B["音频特征提取"]
B --> C["神经网络编码器"]
C --> D["序列表示"]
D --> E["端到端解码器"]
E --> F["输出文本"]
style A fill:#DCEFE5,stroke:#4F8B70,color:#24563F
style B fill:#EAF3EC,stroke:#83A995,color:#315D49
style C fill:#EAF3EC,stroke:#83A995,color:#315D49
style D fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
style E fill:#EAF3EC,stroke:#83A995,color:#315D49
style F fill:#DCEFE5,stroke:#4F8B70,color:#24563F
九、CTC:解决语音与文本长度不一致的问题
CTC(Connectionist Temporal Classification)是端到端语音识别中的经典训练方法。
它解决了一个核心问题:
输入音频帧数量与输出文本 Token 数量通常不一致,训练数据又没有提供每个音频帧对应哪个字符的精确标注。
例如:
输入音频可能被编码成 100 帧,而目标文本只有 8 个字符。
如果要求模型直接建立每一帧与一个字符之间的固定对应关系,就会非常困难。
CTC 通过引入 Blank(空白)标签,并允许多个时间步映射到同一个输出字符,解决了对齐问题。
9.1 Blank 标签
CTC 会在目标字符集合中增加一个特殊符号:
表示 Blank。
例如,模型可能输出:
时间步:
1 2 3 4 5 6
输出:
空白 你 你 空白 好 好
经过 CTC Collapse:
- 合并连续重复字符。
- 删除 Blank。
最终得到:
你好
注意:CTC 的处理顺序是先合并连续重复符号,再删除 Blank。因此:
你 空白 你
经过 Collapse 后仍然是两个“你”。
9.2 CTC 的概率建模
假设输入特征序列为:
模型在每个时间步预测一个标签分布:
其中 \pi 表示包含字符和 Blank 的路径。
一个路径的概率为:
由于多个不同路径可能映射到相同目标文本 Y,CTC 将这些路径的概率相加:
其中:
- B:CTC Collapse 函数。
- B^{-1}(Y):所有能够映射到目标文本 Y 的路径集合。
CTC 损失为:
9.3 CTC 的特点
优点:
- 不需要精确的帧级字符对齐标注。
- 训练过程相对简单。
- 解码可以采用贪心搜索或 Beam Search。
- 适合语音到文本的单调序列映射。
局限:
- 条件独立假设限制了时间步之间的直接依赖建模。
- 对复杂长距离语言依赖的建模能力有限。
- 识别结果可能需要额外语言模型改善。
十、Attention Encoder-Decoder:通过注意力机制生成文本
Attention Encoder-Decoder 是另一种重要的端到端 ASR 架构。
它通常包含:
- Encoder:将音频转换为上下文特征序列。
- Decoder:根据历史输出和编码器特征生成文本。
10.1 Encoder
输入音频特征:
经过编码器后得到:
其中 h_t 表示对应时间位置的上下文特征。
编码器可以使用:
- BiLSTM。
- CNN。
- Transformer。
- Conformer。
10.2 Decoder
Decoder 根据已经生成的 Token 和 Encoder 输出,预测下一个 Token:
其中:
- y_{<t}:此前生成的 Token。
- X:输入音频。
Decoder 可以通过 Attention 机制从编码器输出中读取与当前生成位置相关的信息。
Attention 权重可以表示为:
上下文向量:
其中:
- e_{t,i}:第 t 个输出位置与第 i 个音频特征位置的匹配分数。
- \alpha_{t,i}:注意力权重。
- c_t:当前输出位置读取到的音频上下文。
10.3 生成过程
flowchart TD
A["输入音频特征"] --> B["Encoder"]
B --> C["上下文特征序列"]
C --> D["Attention"]
E["历史输出 Token"] --> F["Decoder"]
D --> F
F --> G["预测下一个 Token"]
G --> H{"是否结束"}
H -->|"否"| F
H -->|"是"| I["输出识别文本"]
style A fill:#DCEFE5,stroke:#4F8B70,color:#24563F
style B fill:#EAF3EC,stroke:#83A995,color:#315D49
style C fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
style D fill:#EAF3EC,stroke:#83A995,color:#315D49
style E fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
style F fill:#DCEFE5,stroke:#4F8B70,color:#24563F
style G fill:#EAF3EC,stroke:#83A995,color:#315D49
style H fill:#F7F4E8,stroke:#C7B77A,color:#675A2D
style I fill:#DCEFE5,stroke:#4F8B70,color:#24563F
Attention Encoder-Decoder 能够直接建模输出 Token 之间的依赖关系,但普通的全局 Attention 解码器可能存在推理延迟较高、对齐不稳定等问题。
十一、RNN-T:面向流式语音识别的架构
RNN-T(Recurrent Neural Network Transducer)是重要的端到端语音识别架构,尤其适合流式识别。
它由三个核心模块构成:
- Encoder:处理音频特征。
- Prediction Network:根据已经输出的 Token 建模语言上下文。
- Joint Network:融合音频信息和语言上下文,预测下一个输出。
11.1 三个核心模块
Encoder
将音频输入转换为时间序列特征:
Prediction Network
根据历史输出 Token 生成语言上下文表示:
Joint Network
融合两个模块的输出:
随后通过 Softmax 预测输出符号分布。
RNN-T 与 CTC 的一个重要区别是:RNN-T 的预测网络能够显式利用历史输出 Token。