返回专栏
· 13 分钟阅读

线性代数:向量、矩阵与张量,从数学表示到 AI 核心计算


线性代数是人工智能最重要的数学基础之一。

机器学习中的特征表示、神经网络中的参数计算、深度学习中的矩阵运算,以及大语言模型中的 Embedding 和 Attention,都离不开线性代数。

从技术角度看,AI 模型本质上需要完成一系列数值计算:

  • 将文本、图像、音频等数据转换为数值表示。
  • 使用向量描述数据的特征。
  • 使用矩阵表示模型参数和线性变换。
  • 使用张量组织多维数据。
  • 通过矩阵运算完成神经网络的前向传播。
  • 通过梯度计算和参数更新完成模型训练。

其中,向量、矩阵和张量构成了现代 AI 系统最基础的数据表示形式。

理解它们,不仅有助于理解机器学习算法,也是深入学习 Transformer、大语言模型、向量数据库和 GPU 计算的前提。

本文从基本概念出发,逐步介绍向量、矩阵和张量的数学定义、运算方式、几何意义,以及它们在人工智能中的实际应用。


一、线性代数是什么?

1.1 基本定义

线性代数(Linear Algebra)是研究向量空间、线性变换以及线性方程组等数学结构的学科。

它主要研究:

  • 向量及向量之间的关系。
  • 矩阵及矩阵运算。
  • 线性方程组。
  • 向量空间与子空间。
  • 线性变换。
  • 特征值与特征向量。
  • 矩阵分解。

在计算机领域,线性代数最重要的价值之一,是提供了一套统一的数学语言,用于表示和计算大量数值数据。

例如,一张图片可以表示为像素矩阵,一个文本可以表示为 Embedding 向量,一个神经网络可以通过大量权重矩阵描述。

1.2 为什么 AI 需要线性代数?

人工智能模型通常不能直接处理人类理解的文本、图片和声音,而是需要先将这些信息转换为数值。

以文本为例:

人工智能正在改变软件开发

经过 Tokenizer 分词后,可以得到一组 Token ID,再通过 Embedding 层映射为向量。

以图像为例:

一张 RGB 图片可以表示为一个三维数组,每个像素包含红、绿、蓝三个通道的数值。

这些数据进入神经网络后,会经过大量矩阵乘法、向量运算和其他张量计算。

因此,线性代数贯穿 AI 的数据表示、模型计算和模型训练过程。

1.3 线性代数在 AI 中的应用

应用领域 线性代数的作用
机器学习 表示样本特征和模型参数
神经网络 完成线性层的矩阵计算
自然语言处理 表示 Token Embedding
大语言模型 完成 Attention 和 Transformer 运算
计算机视觉 表示图像和卷积运算
推荐系统 表示用户、物品及其隐向量
向量数据库 存储、比较和检索向量
模型压缩 使用矩阵分解降低参数规模

二、标量:最基本的数值单位

在理解向量和矩阵之前,需要先理解标量。

2.1 什么是标量?

标量(Scalar)是只有数值大小、没有方向的量。

例如:

a=5
b=3.14
c=-2

这些都属于标量。

在 AI 中,常见的标量包括:

  • 一个模型参数。
  • 一个损失值。
  • 一个学习率。
  • 一个概率值。
  • 一个像素通道的数值。

例如:

Loss=0.025

表示当前模型计算得到的损失值。

2.2 标量运算

常见的标量运算包括:

  • 加法。
  • 减法。
  • 乘法。
  • 除法。
  • 乘方。
  • 开方。

例如:

a=2,\quad b=3
a+b=5
a\times b=6

标量是向量、矩阵和张量中的基本数值元素。


三、向量:如何表示一组数据?

3.1 什么是向量?

向量(Vector)是由多个数值组成的数学对象。

例如:

\mathbf{x}= \begin{bmatrix} 1\\ 2\\ 3 \end{bmatrix}

这是一个包含三个元素的列向量。

也可以写成:

\mathbf{x}=[1,2,3]^T

其中:

  • \mathbf{x}:向量。
  • x_1,x_2,x_3:向量的各个分量。
  • T:转置,表示将行向量转换为列向量。

一个包含 n 个元素的向量,可以表示为:

\mathbf{x}= \begin{bmatrix} x_1\\ x_2\\ \vdots\\ x_n \end{bmatrix} \in\mathbb{R}^n

其中,\mathbb{R}^n 表示由 n 个实数组成的向量空间。

3.2 向量的几何意义

在二维空间中,一个向量可以表示为:

\mathbf{v}= \begin{bmatrix} 3\\ 2 \end{bmatrix}

可以将它理解为从原点出发,沿水平方向移动 3 个单位,再沿垂直方向移动 2 个单位。

在三维空间中:

\mathbf{v}= \begin{bmatrix} 3\\ 2\\ 4 \end{bmatrix}

则表示一个三维方向和大小。

随着维度增加,向量不再容易通过几何图形直观展示,但数学定义保持不变。

AI 中经常使用几百维、几千维甚至更高维度的向量表示数据。

3.3 向量的基本属性

维度(Dimension)

向量包含多少个分量,就具有多少个维度。

例如:

\mathbf{x}=[1,2,3,4]

这是一个四维向量。

分量(Component)

向量中的每一个数值称为分量。

例如:

x_1=1,\quad x_2=2,\quad x_3=3

模长(Magnitude / Norm)

向量的模长表示向量的长度。

对于向量:

\mathbf{x}= \begin{bmatrix} x_1\\ x_2\\ \vdots\\ x_n \end{bmatrix}

其 L2 范数为:

\|\mathbf{x}\|_2= \sqrt{\sum_{i=1}^{n}x_i^2}

例如:

\mathbf{x}= \begin{bmatrix} 3\\ 4 \end{bmatrix}

则:

\|\mathbf{x}\|_2=\sqrt{3^2+4^2}=5

3.4 向量的基本运算

1. 向量加法

两个维度相同的向量可以进行加法运算:

\mathbf{a}= \begin{bmatrix} 1\\ 2\\ 3 \end{bmatrix}
\mathbf{b}= \begin{bmatrix} 4\\ 5\\ 6 \end{bmatrix}

相加:

\mathbf{a}+\mathbf{b}= \begin{bmatrix} 5\\ 7\\ 9 \end{bmatrix}

向量加法要求对应分量相加。

2. 向量减法

\mathbf{a}-\mathbf{b}= \begin{bmatrix} -3\\ -3\\ -3 \end{bmatrix}

向量减法可以用于表示两个向量之间的差异。

3. 标量乘法

一个标量可以乘以一个向量:

2 \begin{bmatrix} 1\\ 2\\ 3 \end{bmatrix} = \begin{bmatrix} 2\\ 4\\ 6 \end{bmatrix}

标量乘法会改变向量的长度,若标量为负数,还会改变向量方向。

4. 向量点积

点积(Dot Product)是向量运算中非常重要的一种操作。

对于两个向量:

\mathbf{a}= \begin{bmatrix} a_1\\ a_2\\ \vdots\\ a_n \end{bmatrix} ,\quad \mathbf{b}= \begin{bmatrix} b_1\\ b_2\\ \vdots\\ b_n \end{bmatrix}

它们的点积为:

\mathbf{a}\cdot\mathbf{b} = \sum_{i=1}^{n}a_ib_i

例如:

\mathbf{a}= \begin{bmatrix} 1\\ 2\\ 3 \end{bmatrix} ,\quad \mathbf{b}= \begin{bmatrix} 4\\ 5\\ 6 \end{bmatrix}

则:

\mathbf{a}\cdot\mathbf{b} =1\times4+2\times5+3\times6 =32

点积也可以表示为:

\mathbf{a}\cdot\mathbf{b} = \|\mathbf{a}\| \|\mathbf{b}\| \cos\theta

其中 \theta 是两个向量之间的夹角。

因此,点积不仅是一种数值计算方式,也具有几何意义。

3.5 向量相似度

在 AI 中,向量经常用于描述文本、用户、商品或图像的特征。

当需要判断两个对象是否相似时,可以比较它们对应的向量。

常见方法包括:

1. 欧几里得距离

d(\mathbf{x},\mathbf{y}) = \sqrt{ \sum_{i=1}^{n}(x_i-y_i)^2 }

距离越小,表示两个向量在欧几里得空间中越接近。

2. 余弦相似度

CosineSimilarity(\mathbf{x},\mathbf{y}) = \frac{\mathbf{x}\cdot\mathbf{y}} {\|\mathbf{x}\|\|\mathbf{y}\|}

余弦相似度主要衡量两个向量方向的一致程度。

其取值范围为:

[-1,1]
  • 接近 1:方向相近。
  • 接近 0:方向近似正交。
  • 接近 -1:方向相反。

在文本 Embedding 检索中,余弦相似度是一种常见的相似度计算方法。

3. 向量归一化

归一化可以将非零向量转换为单位向量:

\hat{\mathbf{x}}= \frac{\mathbf{x}}{\|\mathbf{x}\|_2}

归一化之后:

\|\hat{\mathbf{x}}\|_2=1

当两个向量都经过 L2 归一化时:

\hat{\mathbf{x}}\cdot\hat{\mathbf{y}} = CosineSimilarity(\mathbf{x},\mathbf{y})

这也是一些向量检索系统使用点积实现余弦相似度的数学基础。

3.6 向量在 AI 中的应用

应用 向量的作用
Embedding 将文本、图片等转换为数值表示
RAG 表示文档和查询的语义特征
向量数据库 存储和检索高维向量
推荐系统 表示用户和商品的兴趣特征
分类模型 表示输入样本的特征
神经网络 表示中间层的隐藏状态
Attention 表示 Query、Key、Value

例如,在 RAG 系统中,用户问题和知识库文档会分别转换为向量,再通过相似度计算找到相关内容。


四、矩阵:如何组织和计算大量向量?

4.1 什么是矩阵?

矩阵(Matrix)是由多个数值按照行和列排列组成的二维数学结构。

例如:

A= \begin{bmatrix} 1&2&3\\ 4&5&6 \end{bmatrix}

这个矩阵有:

  • 2 行。
  • 3 列。

因此称为 2\times3 矩阵。

一般形式:

A= \begin{bmatrix} a_{11}&a_{12}&\cdots&a_{1n}\\ a_{21}&a_{22}&\cdots&a_{2n}\\ \vdots&\vdots&\ddots&\vdots\\ a_{m1}&a_{m2}&\cdots&a_{mn} \end{bmatrix}

可以表示为:

A\in\mathbb{R}^{m\times n}

其中:

  • m:行数。
  • n:列数。
  • a_{ij}:第 i 行、第 j 列的元素。

4.2 矩阵的实际意义

矩阵可以用于组织大量具有相同结构的数据。

例如,一个用户数据集:

用户 年龄 月收入 消费次数
A 25 8000 10
B 30 12000 15
C 28 10000 12

可以表示为矩阵:

X= \begin{bmatrix} 25&8000&10\\ 30&12000&15\\ 28&10000&12 \end{bmatrix}

其中:

  • 每一行表示一个用户。
  • 每一列表示一个特征。
  • 每个元素表示对应用户的特征值。

在机器学习中,这种矩阵通常称为特征矩阵。

假设有 m 个样本,每个样本有 n 个特征,则:

X\in\mathbb{R}^{m\times n}

4.3 矩阵的基本运算

1. 矩阵加法

两个行数和列数相同的矩阵可以相加。

A= \begin{bmatrix} 1&2\\ 3&4 \end{bmatrix}
B= \begin{bmatrix} 5&6\\ 7&8 \end{bmatrix}

则:

A+B= \begin{bmatrix} 6&8\\ 10&12 \end{bmatrix}

矩阵加法按照对应位置的元素相加。

2. 矩阵数乘

标量可以乘以矩阵中的每一个元素:

2 \begin{bmatrix} 1&2\\ 3&4 \end{bmatrix} = \begin{bmatrix} 2&4\\ 6&8 \end{bmatrix}

3. 矩阵转置

矩阵转置(Transpose)是将矩阵的行和列互换。

例如:

A= \begin{bmatrix} 1&2&3\\ 4&5&6 \end{bmatrix}

转置后:

A^T= \begin{bmatrix} 1&4\\ 2&5\\ 3&6 \end{bmatrix}

如果:

A\in\mathbb{R}^{m\times n}

那么:

A^T\in\mathbb{R}^{n\times m}

4. 矩阵乘法

矩阵乘法是深度学习中最重要的计算之一。

假设:

A\in\mathbb{R}^{m\times n}
B\in\mathbb{R}^{n\times p}

那么:

C=AB

得到:

C\in\mathbb{R}^{m\times p}

矩阵乘法的核心规则是:

左侧矩阵的列数,必须等于右侧矩阵的行数。

例如:

A= \begin{bmatrix} 1&2\\ 3&4 \end{bmatrix}
B= \begin{bmatrix} 5&6\\ 7&8 \end{bmatrix}

则:

AB= \begin{bmatrix} 1\times5+2\times7&1\times6+2\times8\\ 3\times5+4\times7&3\times6+4\times8 \end{bmatrix}

最终:

AB= \begin{bmatrix} 19&22\\ 43&50 \end{bmatrix}

需要注意,矩阵乘法通常不满足交换律:

AB\neq BA

即使 AB 和 BA 都有定义,结果也不一定相同。

4.4 矩阵乘法的维度规则

矩阵计算中,维度匹配是最容易出现错误的地方之一。

例如:

A\in\mathbb{R}^{3\times4}
B\in\mathbb{R}^{4\times5}

则:

AB\in\mathbb{R}^{3\times5}

但如果:

C\in\mathbb{R}^{3\times5}

那么 AC 无法直接计算,因为 A 的列数为 4,而 C 的行数为 3。

可以用下面的方式记忆:

(m × n) · (n × p) = (m × p)

中间的两个维度必须相同,最终结果保留外侧两个维度。

4.5 特殊矩阵

除了普通矩阵,还有一些在 AI 中经常出现的特殊矩阵。

矩阵类型 定义 特点
方阵 行数等于列数 可以讨论行列式、特征值
零矩阵 所有元素为 0 加法中的零元素
单位矩阵 主对角线为 1,其余为 0 矩阵乘法中的单位元素
对角矩阵 非主对角线元素为 0 计算结构简单
对称矩阵 A=A^T 关于主对角线对称
正交矩阵 A^TA=I 保持向量长度和角度
稀疏矩阵 大部分元素为 0 可利用稀疏计算降低开销

4.6 单位矩阵

单位矩阵(Identity Matrix)是一种特殊的方阵。

例如:

I= \begin{bmatrix} 1&0&0\\ 0&1&0\\ 0&0&1 \end{bmatrix}

对于符合维度要求的矩阵 A:

AI=A
IA=A

它相当于普通乘法中的数字 1。

4.7 逆矩阵

对于方阵 A,如果存在矩阵 A^{-1},使得:

AA^{-1}=A^{-1}A=I

则称 A^{-1} 为 A 的逆矩阵。

但并不是所有方阵都存在逆矩阵。

矩阵可逆的一个重要条件是:

\det(A)\neq0

逆矩阵在线性方程组求解、线性变换和部分统计模型中有重要作用。

不过,在实际机器学习工程中,通常不会直接通过计算矩阵逆来解决所有问题,而是采用更稳定、高效的线性方程组求解方法。

4.8 矩阵的秩

矩阵的秩(Rank)表示矩阵中线性无关行或列的最大数量。

例如:

A= \begin{bmatrix} 1&2\\ 2&4 \end{bmatrix}

第二行是第一行的两倍,因此两行线性相关。

这个矩阵的秩为:

rank(A)=1

矩阵的秩可以用于判断:

  • 矩阵是否存在冗余信息。
  • 线性方程组是否具有唯一解。
  • 数据是否存在低维结构。
  • 矩阵能否进行低秩分解。

在 AI 中,低秩矩阵分解是模型压缩和参数高效微调的重要基础。


五、线性变换:矩阵为什么能够改变数据?

矩阵不仅用于存储数据,还可以表示对向量执行的线性变换。

5.1 什么是线性变换?

线性变换(Linear Transformation)是一种满足线性性质的映射。

假设:

T(\mathbf{x})=A\mathbf{x}

其中:

  • \mathbf{x}:输入向量。
  • A:变换矩阵。
  • T(\mathbf{x}):变换后的向量。

一个线性变换需要满足:

T(\mathbf{x}+\mathbf{y}) = T(\mathbf{x})+T(\mathbf{y})

以及:

T(c\mathbf{x})=cT(\mathbf{x})

其中 c 是标量。

5.2 线性变换的几何意义

矩阵可以对向量执行不同的空间变换。

例如:

缩放

A= \begin{bmatrix} 2&0\\ 0&2 \end{bmatrix}

作用于向量后,会将向量长度放大为原来的两倍。

旋转

二维平面中的旋转矩阵:

R(\theta)= \begin{bmatrix} \cos\theta&-\sin\theta\\ \sin\theta&\cos\theta \end{bmatrix}

可以将向量围绕原点旋转指定角度。

投影

投影可以将向量映射到某个子空间,用于提取特定方向上的分量。

5.3 神经网络为什么需要线性变换?

神经网络中的全连接层,本质上就是线性变换加偏置,再经过非线性激活函数。

\mathbf{y}=W\mathbf{x}+\mathbf{b}

其中:

  • W:权重矩阵。
  • \mathbf{x}:输入向量。
  • \mathbf{b}:偏置向量。
  • \mathbf{y}:输出向量。

例如:

W= \begin{bmatrix} 0.2&0.5\\ 0.3&0.8 \end{bmatrix}
\mathbf{x}= \begin{bmatrix} 1\\ 2 \end{bmatrix}
\mathbf{b}= \begin{bmatrix} 0.1\\ 0.2 \end{bmatrix}

则:

\mathbf{y}=W\mathbf{x}+\mathbf{b}
= \begin{bmatrix} 0.2&0.5\\ 0.3&0.8 \end{bmatrix} \begin{bmatrix} 1\\ 2 \end{bmatrix} + \begin{bmatrix} 0.1\\ 0.2 \end{bmatrix}
= \begin{bmatrix} 1.3\\ 2.1 \end{bmatrix}

这就是一个简单的神经网络线性层计算过程。

5.4 为什么神经网络需要非线性激活函数?

如果神经网络只包含线性变换,那么多个线性层叠加后,仍然等价于一个线性变换。

例如:

h=W_1x
y=W_2h

代入得到:

y=W_2W_1x

两个矩阵可以合并成一个矩阵:

W=W_2W_1

因此:

y=Wx

这意味着,无论叠加多少个纯线性层,模型整体仍然是线性函数。

为了学习更加复杂的非线性关系,神经网络需要在层之间引入激活函数。

例如 ReLU:

ReLU(x)=\max(0,x)

完整计算可以表示为:

y=ReLU(Wx+b)

这使神经网络能够表示更加复杂的函数关系。


六、张量:如何表示高维数据?

6.1 什么是张量?

张量(Tensor)是标量、向量和矩阵在更高维度上的统一推广。

可以从维度角度理解:

数据结构 阶数(Order) 示例
标量 0 阶 单个数值
向量 1 阶 一维数组
矩阵 2 阶 二维数组
三维张量 3 阶 三维数组
高维张量 4 阶及以上 多维数据结构

这里的阶数通常指张量的维度数量,也常称为 Rank 或 Order。

需要注意,在不同深度学习框架和数学语境中,Rank、Shape、Dimension 等词可能有不同的使用习惯:

  • Tensor Rank:张量的阶数,即轴的数量。
  • Shape:每个轴上的大小。
  • Dimension:可能指轴的数量,也可能指某个特征维度,需要结合上下文理解。

6.2 一阶张量:向量

X= \begin{bmatrix} 1\\ 2\\ 3 \end{bmatrix}

这是一个一阶张量。

它只有一个轴,形状可以表示为:

Shape(X)=(3,)

6.3 二阶张量:矩阵

X= \begin{bmatrix} 1&2&3\\ 4&5&6 \end{bmatrix}

这是一个二阶张量。

它有两个轴,形状为:

Shape(X)=(2,3)

6.4 三阶张量

假设一个数据结构包含 2 个矩阵,每个矩阵有 3 行、4 列。

可以表示为:

X\in\mathbb{R}^{2\times3\times4}

其形状为:

Shape(X)=(2,3,4)

这类结构在深度学习中非常常见。

例如,一批文本的 Embedding 可以使用三维张量表示:

X\in\mathbb{R}^{B\times T\times D}

其中:

  • B:批次大小。
  • T:每条文本的 Token 数量。
  • D:每个 Token 的向量维度。

6.5 四阶张量:图像批次

一张 RGB 图片通常可以表示为三维数据:

X\in\mathbb{R}^{H\times W\times C}

其中:

  • H:图片高度。
  • W:图片宽度。
  • C:颜色通道数量。

如果一次输入多张图片,就需要增加 Batch 维度:

X\in\mathbb{R}^{B\times H\times W\times C}

这就是四阶张量。

在不同深度学习框架中,图像张量的轴顺序可能不同。

例如:

  • NHWC:Batch、Height、Width、Channels。
  • NCHW:Batch、Channels、Height、Width。

轴顺序不一致,是深度学习工程中非常常见的维度错误来源。

6.6 张量与数组有什么区别?

在编程中,NumPy 数组、PyTorch Tensor 和 TensorFlow Tensor 都可以表示多维数值数据。

但数学上的张量与编程中的数组并不完全等价。

数学上的张量具有特定的变换规则,其分量在坐标变换下需要遵循相应规律。

而深度学习框架中的 Tensor,通常是一个支持多维索引、数值运算、设备存储和自动求导的数据对象。

因此:

编程中的 Tensor 是实现张量计算的重要数据结构,但不能简单地把所有多维数组的工程属性都等同于张量的完整数学定义。

6.7 张量在 AI 中的应用

应用 常见张量结构
图像识别 四维图像批次张量
视频理解 五维或更高维视频张量
自然语言处理 三维 Token Embedding 张量
Transformer 多头 Attention 张量
语音识别 音频特征张量
深度学习训练 输入、参数、梯度张量

七、向量、矩阵与张量之间的关系

向量、矩阵和张量并不是完全独立的数学对象,而是不同阶数的数据结构。

可以从维度层次理解:

flowchart TB
    A["标量 Scalar<br/>0 阶"]
    B["向量 Vector<br/>1 阶"]
    C["矩阵 Matrix<br/>2 阶"]
    D["高阶张量 Tensor<br/>3 阶及以上"]

    A --> B
    B --> C
    C --> D

    style A fill:#DCEFE5,stroke:#4F8B70,color:#24563F
    style B fill:#EAF3EC,stroke:#83A995,color:#315D49
    style C fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
    style D fill:#E5F0E9,stroke:#83A995,color:#315D49