一、什么是模型量化?
模型量化(Model Quantization)是将模型中的高精度数值映射为低精度数值的技术。
在深度学习模型中,权重、激活值和中间计算结果通常使用 FP32、FP16 或 BF16 表示。
例如,一个 FP32 参数占用 4 字节:
FP32: 0.123456789
FP16: 0.1235
INT8: 31
INT4: 7
量化的核心目标是:
- 降低模型权重的存储空间。
- 减少 GPU 显存占用。
- 降低权重读取带宽需求。
- 利用低精度硬件指令提高计算吞吐量。
- 降低模型部署成本。
- 在可接受的精度损失范围内提高推理效率。
需要明确:量化不仅是缩小数据类型,更是一个涉及数值映射、误差控制、计算内核和硬件执行的系统工程。
1.1 为什么大模型需要量化?
大模型的参数量非常大,模型权重通常是推理部署中的重要显存开销。
假设一个模型有 70B 参数:
| 数据类型 | 单参数理论存储 | 权重理论占用 |
|---|---|---|
| FP32 | 4 Bytes | 280 GB |
| FP16 | 2 Bytes | 140 GB |
| BF16 | 2 Bytes | 140 GB |
| FP8 | 1 Byte | 70 GB |
| INT8 | 1 Byte | 70 GB |
| INT4 | 0.5 Byte | 35 GB |
以上为十进制单位下的理论权重大小,不包含量化 Scale、Zero Point、对齐填充、运行时工作区和 KV Cache 等开销。
从表格可以看出:
- FP16 相比 FP32,权重存储减少约 50%。
- INT8 相比 FP16,理论权重存储减少约 50%。
- INT4 相比 FP16,理论权重存储减少约 75%。
这意味着原本需要多张 GPU 才能部署的模型,在量化后可能能够放入更少的 GPU,甚至单卡运行。
1.2 量化的三个主要对象
模型量化通常涉及三类数据。
| 对象 | 含义 | 量化目的 |
|---|---|---|
| Weight Quantization | 权重量化 | 减少模型参数存储 |
| Activation Quantization | 激活值量化 | 降低中间张量的存储与计算开销 |
| KV Cache Quantization | KV Cache 量化 | 减少长上下文推理的缓存显存 |
三者的量化难度不同。
权重通常在模型部署前已经确定,可以提前统计分布并完成量化。
激活值依赖输入数据,分布可能随着请求变化,需要使用校准数据、动态统计或特殊量化方法。
KV Cache 则随着生成过程持续增长,其量化还需要考虑 Attention 对历史 Key、Value 精度的敏感性。
二、数值精度基础:FP32、FP16、BF16、FP8 与 INT
理解量化,首先需要理解不同数值格式的表示方式。
2.1 浮点数的基本结构
IEEE 754 浮点数通常由三个部分组成:
- Sign:符号位。
- Exponent:指数位。
- Mantissa:尾数位,也称 Fraction。
浮点数可以抽象表示为:
其中:
- s:符号位。
- e:指数编码。
- bias:指数偏移量。
- m:尾数部分。
指数位决定数值范围,尾数位决定数值精度。
指数位越多,通常能够表示更大的动态范围。
尾数位越多,通常能够表示更细致的数值变化。
2.2 常见浮点格式
| 格式 | 总位数 | 指数位 | 尾数位 | 特点 |
|---|---|---|---|---|
| FP32 | 32 | 8 | 23 | 精度高、范围较大 |
| FP16 | 16 | 5 | 10 | 存储小,但动态范围较窄 |
| BF16 | 16 | 8 | 7 | 动态范围接近 FP32 |
| FP8 E4M3 | 8 | 4 | 3 | 精度相对较高,范围较小 |
| FP8 E5M2 | 8 | 5 | 2 | 范围较大,精度较低 |
FP8 常见两种格式:
- E4M3:4 位指数、3 位尾数,通常更适合对精度要求较高的计算。
- E5M2:5 位指数、2 位尾数,通常具有更大的动态范围。
实际 FP8 格式还存在特殊编码、指数偏移和有限值约定,不能仅根据指数位和尾数位推断全部数值范围。
2.3 整数格式
INT8 和 INT4 属于定点整数表示。
| 格式 | 位数 | 有符号整数范围 |
|---|---|---|
| INT8 | 8 | -128 到 127 |
| INT4 | 4 | -8 到 7 |
| INT2 | 2 | -2 到 1 |
整数本身没有浮点指数和尾数。
它只能表示有限数量的离散数值,因此需要通过 Scale 和 Zero Point 将浮点数映射到整数空间。
2.4 FP16 与 INT8 的区别
FP16 和 INT8 都是 16 位以下的低精度表示,但两者的数值结构完全不同。
FP16:
- 使用浮点表示。
- 具有指数和尾数。
- 可以表示不同数量级的数值。
- 通常可以直接参与浮点矩阵运算。
INT8:
- 使用整数表示。
- 需要 Scale 和 Zero Point 建立数值映射。
- 数值范围有限。
- 通常需要整数乘加或量化计算内核。
因此,INT8 并不是简单地把 FP16 截断为 8 位。
三、线性量化的数学原理
线性量化是 INT8、INT4 等整数权重量化中最基础的方法。
它通过一个线性映射,将浮点数映射到有限范围的整数。
3.1 Quantization:量化公式
最常见的仿射量化(Affine Quantization)可以表示为:
其中:
- x:原始浮点数。
- q:量化后的整数。
- s:Scale,缩放因子。
- z:Zero Point,零点偏移。
- q_{\min}:整数最小值。
- q_{\max}:整数最大值。
round:取整操作。clip:截断到合法整数范围。
反量化公式:
其中 \hat{x} 是量化后恢复出来的近似浮点值。
注意:反量化并不能恢复原始数值,只能恢复量化后的近似值。
3.2 Scale 的计算
对于非对称量化,如果浮点数据范围为:
整数范围为:
Scale 通常计算为:
Zero Point:
实际实现通常还会对 Zero Point 做整数范围裁剪。
3.3 对称量化
对称量化(Symmetric Quantization)通常令 Zero Point 为 0。
对于有符号整数:
量化公式:
反量化:
对称量化的优势:
- 不需要额外的 Zero Point。
- 整数矩阵乘法更容易优化。
- 计算过程相对简单。
- 适合很多权重张量。
但如果数据分布明显偏离零点,对称量化可能无法充分利用整数表示范围。
3.4 量化计算示例
假设权重范围为:
使用对称 INT8 量化,取:
那么:
原始权重:
量化结果:
反量化:
量化误差:
这就是量化带来的数值误差。
3.5 量化误差从哪里来?
主要来源包括:
- 取整误差:浮点数映射到离散整数时产生误差。
- 截断误差:超出量化范围的数值被裁剪。
- 参数估计误差:Scale 和 Zero Point 不够准确。
- 分布偏移:校准数据与真实推理数据不一致。
- 累积误差:多层量化计算产生的误差逐层传播。
其中,截断误差通常比普通取整误差更加严重。
例如,某个权重为 12,但量化范围只能表示到 1,那么该值会被裁剪,反量化后仍然只能得到接近 1 的数值。
四、量化粒度:Per-Tensor、Per-Channel 与 Group-wise
量化不仅要选择 INT8 或 INT4,还需要决定 Scale 的作用范围。
量化粒度(Quantization Granularity)直接影响量化误差、元数据开销和计算效率。
4.1 Per-Tensor Quantization
Per-Tensor 是整个张量共享一个 Scale 和 Zero Point。
例如,一个权重矩阵:
所有元素共享同一组量化参数。
优点:
- 参数开销最低。
- 实现简单。
- 容易使用高性能矩阵计算内核。
缺点:
- 不同通道的数值分布可能差异很大。
- 极端值可能压缩其他元素的有效量化范围。
- INT4 下精度损失可能明显。
4.2 Per-Channel Quantization
Per-Channel 为每个输出通道独立计算 Scale。
对于线性层:
假设:
其中:
- N:输出维度。
- K:输入维度。
可以为每个输出通道分配独立的 Scale:
这样能够更好地适应不同输出通道的权重分布。
优点:
- 通常比 Per-Tensor 更准确。
- 能降低通道间数值分布差异带来的误差。
- 适合很多 INT8 权重量化场景。
缺点:
- 需要保存更多量化参数。
- 计算内核需要支持通道级 Scale。
- 不同矩阵布局会影响 Scale 的应用方式。
4.3 Group-wise Quantization
Group-wise Quantization 将一个通道或矩阵划分为多个小组,每组独立计算 Scale。
例如:
权重矩阵的一行:
Group 1:128 个权重,共享 Scale 1
Group 2:128 个权重,共享 Scale 2
Group 3:128 个权重,共享 Scale 3
Group 4:128 个权重,共享 Scale 4
常见 Group Size:
- 32。
- 64。
- 128。
- 256。
具体大小取决于量化算法、模型结构和计算内核。
Group Size 越小:
- Scale 更贴近局部数据分布。
- 量化误差可能更低。
- 元数据数量更多。
- 内核读取和计算管理更复杂。
Group Size 越大:
- Scale 开销更低。
- 计算实现可能更简单。
- 不同局部区域的分布差异可能增加量化误差。
4.4 三种粒度对比
| 方式 | Scale 范围 | 元数据开销 | 精度表现 |
|---|---|---|---|
| Per-Tensor | 整个张量 | 最低 | 依赖整体分布 |
| Per-Channel | 每个通道 | 较低 | 通常较好 |
| Group-wise | 每个分组 | 中等 | 灵活,可进一步降低误差 |
4.5 量化粒度示意图
flowchart TD
A["原始权重矩阵"] --> B{"选择量化粒度"}
B --> C["Per-Tensor"]
B --> D["Per-Channel"]
B --> E["Group-wise"]
C --> F["整个矩阵共享 Scale"]
D --> G["每个输出通道独立 Scale"]
E --> H["每组权重独立 Scale"]
F --> I["低元数据开销"]
G --> J["适应通道分布差异"]
H --> K["控制局部量化误差"]
style A fill:#E0F0FE,stroke:#93BCE8,color:#1E4976
style B fill:#F7F4E8,stroke:#C7B77A,color:#675A2D
style C fill:#EAE8FA,stroke:#A49BD5,color:#51477D
style D fill:#EAE8FA,stroke:#A49BD5,color:#51477D
style E fill:#EAE8FA,stroke:#A49BD5,color:#51477D
style F fill:#EAF3EC,stroke:#83A995,color:#315D49
style G fill:#EAF3EC,stroke:#83A995,color:#315D49
style H fill:#EAF3EC,stroke:#83A995,color:#315D49
style I fill:#DCEFE5,stroke:#4F8B70,color:#24563F
style J fill:#DCEFE5,stroke:#4F8B70,color:#24563F
style K fill:#DCEFE5,stroke:#4F8B70,color:#24563F
五、INT8 量化:8 位整数计算
INT8 是目前非常常见的整数低精度计算格式。
它使用 8 位有符号整数表示数值,理论上每个参数占用 1 Byte。
5.1 INT8 的基本特点
- 整数范围通常为 -128 到 127。
- 权重存储占用约为 FP16 的一半。
- 可以使用整数矩阵乘法指令。
- 需要通过 Scale 恢复数值尺度。
- 通常可以在较低精度损失下实现模型压缩。
INT8 在模型推理中常见两种使用方式:
- 权重使用 INT8,激活值使用 FP16 或 BF16。
- 权重和激活值都使用 INT8。
第一种通常称为 W8A16。
第二种通常称为 W8A8。
5.2 W8A16:INT8 权重、FP16 激活值
W8A16 表示:
- Weight:INT8。
- Activation:FP16。
模型权重使用 INT8 保存,执行矩阵运算时,根据计算内核将权重转换或融合处理为适合计算的形式。
示意:
其优势是:
- 权重显存占用明显降低。
- 激活值仍然保留较高精度。
- 对激活值分布的量化要求较低。
- 在部分 GPU 上容易获得较好的部署效果。
但需要注意:W8A16 并不保证所有硬件都能直接执行 INT8 权重与 FP16 激活值的原生混合矩阵乘法。
实际可能通过反量化、融合 Kernel 或特定混合精度内核实现。
5.3 W8A8:INT8 权重、INT8 激活值
W8A8 表示:
- Weight:INT8。
- Activation:INT8。
矩阵乘法:
实际整数矩阵乘法通常使用更宽的累加类型,例如 INT32。
计算结果需要结合输入和权重的 Scale 恢复数值尺度。
对于对称量化:
因此:
这里的整数乘加结果通常先累积到 INT32,再通过缩放转换到目标输出格式。
W8A8 的优势:
- 权重和激活值都可以压缩。
- 降低数据传输和存储开销。
- 在支持 INT8 Tensor Core 的硬件上可能获得较高吞吐量。
难点:
- 激活值分布动态变化。
- 异常值可能影响 Scale。
- 激活量化误差可能影响模型输出。
- 需要更复杂的量化和校准策略。
5.4 INT8 的累加精度
一个容易被忽略的问题是:
INT8 输入不代表整个计算过程都使用 INT8。
例如:
如果 a_k 和 w_k 都是 INT8,那么单次乘积可以放在整数计算路径中,但累加过程通常需要更宽的整数类型。
如果始终使用 INT8 累加,数值很容易溢出。
因此,常见计算路径是:
INT8 × INT8
↓
INT32 累加
↓
Scale 还原
↓
FP16 / BF16 / FP32 输出
这一设计既降低了输入数据的存储成本,又避免了低位宽累加造成的严重溢出问题。
六、INT4 量化:4 位权重压缩
INT4 使用 4 位表示一个整数。
其核心价值是进一步降低模型权重存储和读取开销。
6.1 INT4 的数值范围
有符号 INT4 通常表示:
每个参数理论上只占用半个字节。
由于一个 Byte 有 8 位,因此两个 INT4 数值可以打包到一个 Byte 中。
例如:
高 4 位:权重 A
低 4 位:权重 B
这种方式称为 Packing。
实际量化格式可能采用不同的编码方式,例如对称有符号编码、非对称编码或自定义低位宽格式。
6.2 INT4 的主要优势
- 权重存储仅为 FP16 的四分之一。
- 理论上显著降低显存需求。
- 减少权重读取带宽。
- 有利于大模型单卡部署。
- 对权重读取成为瓶颈的场景可能产生明显收益。
6.3 INT4 的主要挑战
INT4 只有 16 个离散数值。
这意味着可表示的数值非常有限。
例如:
如果将整个张量映射到 INT4 的有限整数范围,就需要用较大的量化步长表示不同浮点值。
相比 INT8,INT4 的取整误差通常更大。
此外,如果张量存在少量极端值,量化范围可能被这些极端值主导,导致大多数普通权重只能使用更少的有效量化级别。
6.4 Group-wise INT4
为了降低 INT4 的量化误差,实际模型通常采用 Group-wise Quantization。
例如:
- 每 128 个权重为一组。
- 每组单独计算 Scale。
- 不同组拥有独立的量化范围。
这样可以避免整个矩阵中的少量异常值影响全部权重。
一个典型的 INT4 权重表示可能包含:
量化权重:INT4 Packed Values
缩放参数:FP16 / BF16 Scale
零点参数:可选
分组大小:Group Size
因此,INT4 模型的实际占用不等于参数量乘以 0.5 Byte。
还需要计算 Scale、Zero Point、对齐和其他元数据开销。
6.5 INT4 的反量化过程
假设某组权重使用对称 INT4 量化:
反量化:
在实际 GPU 推理中,并不一定需要先将整个权重矩阵完整反量化为 FP16。
更高效的方式是:
- 从显存读取 Packed INT4。
- 在 Kernel 内解包。
- 获取对应 Group Scale。
- 在寄存器或计算路径中转换。
- 执行矩阵乘法。
- 输出累加结果。
这种方式能够避免额外创建一个完整的 FP16 权重副本。
七、INT8 与 INT4 的对比
INT8 和 INT4 都属于整数权重量化,但在精度、存储和计算方式上存在明显差异。
| 对比维度 | INT8 | INT4 |
|---|---|---|
| 位宽 | 8 Bit | 4 Bit |
| 理论存储 | 1 Byte/参数 | 0.5 Byte/参数 |
| 整数表示级别 | 256 个编码值 | 16 个编码值 |
| 量化误差 | 通常较低 | 通常更高 |
| Scale 开销 | 相对较低 | Group-wise 时需要关注 |
| 权重读取量 | 较低 | 更低 |
| 硬件支持 | 较广泛 | 依赖硬件与 Kernel |
| 部署复杂度 | 相对较低 | 通常更高 |
| 适用场景 | 精度与性能平衡 | 显存受限、大模型压缩 |
7.1 INT4 不一定比 INT8 快
这是模型量化中非常重要的工程误区。
INT4 的权重数据量更小,但不代表推理速度一定更快。
实际速度取决于:
- GPU 是否支持高效 INT4 运算。
- INT4 解包开销。
- Scale 读取开销。
- 反量化是否融合到矩阵乘法。
- Kernel 是否充分利用 Tensor Core。
- 是否受到显存带宽限制。
- Batch Size 和矩阵形状。
如果 INT4 Kernel 的解包、反量化开销很大,可能无法充分发挥低位宽的带宽优势。
7.2 INT4 与 INT8 的选择
通常可以根据以下目标选择:
| 目标 | 推荐方向 |
|---|---|
| 尽可能降低显存 | INT4 |
| 尽可能控制量化误差 | INT8 |
| 单卡部署较大模型 | INT4 |
| 对输出质量要求较高 | INT8 或更高精度 |
| 需要成熟的整数计算路径 | INT8 |
| GPU 有高效低位宽计算支持 | 评估 INT4 |
最终应以真实业务数据集上的质量评估和性能测试为准。
八、FP8:浮点低精度计算
FP8 与 INT8 都是 8 位表示,但它们的计算逻辑不同。
FP8 保留浮点指数和尾数,能够表示不同数量级的数值。
INT8 则需要通过 Scale 和 Zero Point 映射到有限整数范围。
8.1 FP8 的特点
FP8 主要用于降低浮点计算的数据精度和存储开销。
常见格式:
| 格式 | 结构 | 主要特点 |
|---|---|---|
| E4M3 | 4 位指数、3 位尾数 | 精度相对较高 |
| E5M2 | 5 位指数、2 位尾数 | 动态范围较大 |
FP8 的优势:
- 单元素占用 1 Byte。
- 可以保留浮点数的指数结构。
- 适合部分矩阵乘法和深度学习计算。
- 在支持 FP8 Tensor Core 的 GPU 上可以获得较高吞吐量。
8.2 FP8 与 INT8 的区别
| 维度 | FP8 | INT8 |
|---|---|---|
| 数值类型 | 浮点 | 整数 |
| 指数结构 | 有 | 无 |
| Scale | 常见实现需要缩放管理 | 通常需要 |
| Zero Point | 通常不使用仿射整数零点 | 可使用 |
| 数值范围 | 取决于浮点格式 | 取决于整数编码与 Scale |
| 主要应用 | 低精度浮点计算 | 权重和激活整数计算 |
| 硬件执行 | FP8 Tensor Core 等 | INT8 Tensor Core 等 |
8.3 FP8 的 Scale 管理
FP8 的动态范围虽然比 INT8 更灵活,但仍然有限。
如果输入数值超过可表示范围,就会出现溢出或饱和。
如果数值太小,也可能产生下溢和精度损失。
因此,实际计算中通常需要使用缩放因子:
计算完成后:
对于矩阵乘法,输入和输出可能具有不同的缩放参数。
FP8 训练和推理系统还可能使用动态 Scale、延迟 Scale 或基于历史统计的 Scale 管理策略。
九、权重量化、激活量化与 KV Cache 量化
这三种量化虽然都属于低精度优化,但作用位置和工程挑战不同。
9.1 权重量化
Weight Quantization 是将模型参数转换为低精度格式。
例如:
原始模型:
W1:FP16
W2:FP16
W3:FP16
量化后:
W1:INT4
W2:INT4
W3:INT4
权重量化通常在模型部署前完成。
主要收益:
- 降低模型文件大小。
- 减少 GPU 权重显存。
- 降低权重读取带宽。
常见方案:
- INT8 Weight Quantization。
- INT4 Weight Quantization。
- GPTQ。
- AWQ。
- GGUF 量化格式。
- BitsAndBytes 低位宽权重量化。
9.2 激活量化
Activation Quantization 是将模型中间计算结果转换为低精度格式。
例如:
Embedding
↓
Attention
↓
Activation Quantization
↓
FFN
↓
Activation Quantization
↓
下一层
激活值与输入数据、模型层和运行状态有关。
因此,激活量化通常比静态权重量化更复杂。
主要挑战:
- 输入分布随请求变化。
- 不同层的数值范围差异明显。
- 异常值可能破坏量化精度。
- 需要校准或动态 Scale。
- 量化与反量化操作可能引入额外开销。
9.3 KV Cache 量化
KV Cache 保存历史 Token 的 Key 和 Value。
在长上下文、高并发推理中,KV Cache 可能占用大量显存。
因此,可以将 KV Cache 从 FP16 或 BF16 转换为 FP8、INT8 或其他低精度格式。
其主要收益:
- 降低缓存显存占用。
- 提高同一 GPU 可支持的并发请求数。
- 降低历史 Key、Value 的读取带宽。
但 KV Cache 量化需要格外注意 Attention 误差。
历史 Key 和 Value 会参与后续每一步 Token 的 Attention 计算,量化误差可能持续影响生成结果。
9.4 三类量化对比
| 量化对象 | 量化时间 | 主要收益 | 主要风险 |
|---|---|---|---|
| Weight | 通常部署前 | 减少权重显存 | 模型能力下降 |
| Activation | 执行过程中或部署前配置 | 降低中间张量开销 | 分布变化与异常值 |
| KV Cache | 推理过程中 | 降低上下文缓存占用 | Attention 误差累积 |
十、主流量化算法:GPTQ、AWQ、SmoothQuant 与 bitsandbytes
不同量化算法的差异,主要在于如何确定量化参数、如何处理异常值,以及如何降低模型输出误差。
10.1 GPTQ
GPTQ 是一种面向 Transformer 权重的后训练量化方法。
GPTQ 的核心思想是:在量化权重时,不仅考虑当前权重与量化结果之间的差异,还考虑权重误差对模型输出的影响。
它使用近似二阶信息来指导量化过程。
核心原理
对于线性层:
量化后的权重为:
输出误差:
如果输入激活 X 的某些方向更加重要,那么相同大小的权重误差可能造成不同程度的输出变化。
GPTQ 利用校准数据计算输入相关的统计信息,近似衡量权重误差对输出的影响。
常见目标可以写为:
其中 \|\cdot\|_F 表示 Frobenius 范数。
GPTQ 通过近似二阶优化和逐步量化策略降低该目标。
GPTQ 的主要特点
- 属于 Post-Training Quantization,PTQ。
- 通常不需要完整重新训练模型。
- 依赖代表性的校准数据。
- 常用于 INT4 权重量化。
- 可以结合 Group-wise Quantization。
GPTQ 的局限
- 量化过程需要计算统计矩阵。
- 量化阶段可能占用较多 CPU/GPU 内存。
- 校准数据选择会影响效果。
- 推理速度依赖对应 Kernel 是否高效。
10.2 AWQ
AWQ,全称 Activation-aware Weight Quantization。
AWQ 的核心思想是:权重的重要性与输入激活值有关。
不同权重对模型输出的影响并不相同。
如果某些输入通道的激活值较大,那么对应权重上的量化误差可能更加显著。
AWQ 利用激活统计信息识别重要通道,并通过缩放变换保护关键权重的量化精度。
核心思想
对于线性层:
对输入通道进行缩放:
对应调整权重:
因此:
在理想数学条件下,模型计算结果保持不变。
随后对调整后的权重执行量化。
这种变换能够改变权重的数值分布,让量化过程更好地保护重要通道。
AWQ 的主要特点
- 利用激活统计信息指导权重量化。
- 通常用于低位宽权重量化。
- 不需要完整模型微调。
- 常用于 INT4 部署。
- 适合与高性能低位宽矩阵计算内核结合。
AWQ 的局限
- 需要校准数据。
- 需要处理权重缩放和模型结构适配。
- 不同算子和模型架构的支持程度不同。
- 最终推理性能取决于 Kernel 实现。
10.3 SmoothQuant
SmoothQuant 主要解决激活值中的异常值问题。
在 Transformer 中,激活值可能存在少数幅度特别大的通道。
如果直接对激活值执行 INT8 量化,这些异常值可能导致其他大多数数值的有效量化精度下降。
SmoothQuant 的核心思想是将部分量化难度从激活值迁移到权重。
通过等价缩放变换调整输入和权重的数值分布。
对于:
可以构造:
于是:
在不改变数学计算结果的前提下,让激活值更容易量化。
SmoothQuant 的主要特点
- 重点处理激活值异常值。
- 常用于 W8A8。
- 能够改善 Transformer 的 INT8 激活量化。
- 通过离线缩放降低推理时的动态量化负担。
10.4 bitsandbytes
bitsandbytes 是深度学习生态中常用的低位宽量化工具库。
常见能力包括:
- 8-bit 优化器相关功能。
- 8-bit 模型权重加载。
- 4-bit 权重量化。
- NF4。
- FP4。
- 与 Transformers 等工具集成。
NF4(NormalFloat4)是一种针对近似正态分布权重设计的 4 位数据表示方式。
它并不是普通的均匀 INT4。
NF4 会根据目标分布设计量化数值级别,让有限的 4 位编码更适合表示特定分布的权重。
10.5 主流算法对比
| 算法 | 核心思路 | 常见目标 | 是否需要校准数据 |
|---|---|---|---|
| GPTQ | 利用近似二阶信息降低权重误差 | INT4 / INT8 权重 | 通常需要 |
| AWQ | 根据激活重要性保护权重通道 | INT4 权重 | 通常需要 |
| SmoothQuant | 将激活异常值影响迁移到权重 | W8A8 | 通常需要 |
| bitsandbytes | 提供低位宽数据格式与计算支持 | INT8 / 4-bit | 依具体方案而定 |
十一、量化校准:Calibration
量化并不是简单地选择 INT8 或 INT4,然后直接转换模型。
需要确定数据分布、Scale、Zero Point、异常值处理方式等参数。
这个过程通常称为 Calibration。
11.1 为什么需要校准?
假设某一层激活值的实际分布:
如果校准时错误地认为:
那么量化范围会被严重浪费。
大量正常数值只能使用少量整数编码,导致有效精度下降。
反过来,如果校准范围过窄,真实推理数据中的大值就可能被裁剪。
11.2 校准数据集
校准数据集应该尽量接近真实业务输入。
例如:
- 通用对话。
- 代码生成。
- 数学推理。
- 长上下文。
- 多语言输入。
- 结构化数据。
- 工具调用请求。
如果模型主要用于代码生成,却只使用普通聊天数据进行校准,可能无法充分覆盖真实激活分布。
11.3 校准方法
常见统计方法包括:
Min-Max
根据最小值和最大值确定量化范围。
优点是简单。
缺点是容易受到异常值影响。
Percentile
使用分位数确定量化范围。
例如忽略极端的 0.1% 或 1% 数据。
优点是可以降低异常值影响。
缺点是极端值可能被截断。
Histogram
统计激活值直方图,根据分布选择量化范围。
可以更精细地平衡量化误差与截断误差。
MSE Optimization
通过搜索 Scale,使量化前后数据的均方误差最小。
这种方法直接优化重构误差,但不一定能完全反映模型最终任务质量。
11.4 校准流程
flowchart TD
A["准备预训练模型"] --> B["准备代表性校准数据"]
B --> C["执行模型前向计算"]
C --> D["收集权重与激活统计"]
D --> E["分析数值分布和异常值"]
E --> F["确定量化粒度"]
F --> G["计算 Scale 与 Zero Point"]
G --> H["执行量化转换"]
H --> I["评估量化误差"]
I --> J{"误差是否满足要求"}
J -->|"否"| K["调整校准数据或量化策略"]
K --> C
J -->|"是"| L["保存量化模型"]
style A fill:#E0F0FE,stroke:#93BCE8,color:#1E4976
style B fill:#EAF3EC,stroke:#83A995,color:#315D49
style C fill:#EAF3EC,stroke:#83A995,color:#315D49
style D fill:#EAF3EC,stroke:#83A995,color:#315D49
style E fill:#EAE8FA,stroke:#A49BD5,color:#51477D
style F fill:#EAE8FA,stroke:#A49BD5,color:#51477D
style G fill:#EAF3EC,stroke:#83A995,color:#315D49
style H fill:#DCEFE5,stroke:#4F8B70,color:#24563F
style I fill:#EAF3EC,stroke:#83A995,color:#315D49
style J fill:#F7F4E8,stroke:#C7B77A,color:#675A2D
style K fill:#F7EAE7,stroke:#C98D7C,color:#754438
style L fill:#DCEFE5,stroke:#4F8B70,color:#24563F
十二、PTQ 与 QAT:后训练量化和量化感知训练
模型量化主要分为两类路线:
- PTQ:Post-Training Quantization,后训练量化。
- QAT:Quantization-Aware Training,量化感知训练。
12.1 PTQ:后训练量化
PTQ 在模型训练完成后执行量化。
典型流程:
- 加载已经训练好的 FP16 或 BF16 模型。
- 准备校准数据。
- 统计权重或激活值分布。
- 计算量化参数。
- 转换权重和相关计算路径。
- 评估模型质量。
优点:
- 不需要重新进行完整模型训练。
- 成本较低。
- 部署流程相对简单。
- 适合已有模型的快速压缩。
缺点:
- 低位宽下精度损失可能较大。
- 校准数据会影响结果。
- 对部分模型结构适配要求较高。
GPTQ、AWQ、SmoothQuant 都属于典型的后训练量化路线。
12.2 QAT:量化感知训练
QAT 在模型训练或微调过程中模拟量化误差。
训练时,模型仍然可以使用高精度参数进行梯度更新,但前向计算会模拟低精度量化行为。
典型做法是使用 Fake Quantization。
Fake Quantization 不一定真的将参数存储为 INT8,而是在前向过程中执行:
其中:
- Q:量化。
- DQ:反量化。
这样训练过程可以感知量化误差,并通过参数更新适应低精度计算。
12.3 Straight-Through Estimator
量化函数包含取整操作:
严格来说,取整函数几乎处处不可导。
因此,QAT 通常采用 Straight-Through Estimator,简称 STE。
STE 在反向传播时使用近似梯度,让梯度能够穿过量化操作。
一种简化形式:
实际实现可能在量化范围之外将梯度置零,以避免超出有效范围的数值持续影响训练。
12.4 PTQ 与 QAT 对比
| 对比维度 | PTQ | QAT |
|---|---|---|
| 执行时间 | 训练完成后 | 训练或微调期间 |
| 是否需要训练 | 通常不需要 | 需要 |
| 计算成本 | 较低 | 较高 |
| 量化误差适应 | 依赖校准和算法 | 模型可以学习适应 |
| 极低位宽 | 需要精细算法 | 有机会获得更好精度 |
| 部署复杂度 | 相对较低 | 训练流程更复杂 |