一、人工智能究竟包含哪些技术?
人工智能(Artificial Intelligence,AI)并不是某一种单独的算法或技术,而是一个覆盖多个研究方向和技术领域的综合性学科。
从早期的规则推理、专家系统,到机器学习、深度学习,再到今天的大语言模型、生成式 AI 和智能体,人工智能经历了多次技术范式的演进。
当前主流 AI 技术涉及:
- 符号主义人工智能(Symbolic AI)
- 机器学习(Machine Learning,ML)
- 深度学习(Deep Learning,DL)
- 生成式人工智能(Generative AI)
- 自然语言处理(Natural Language Processing,NLP)
- 计算机视觉(Computer Vision,CV)
- 语音技术(Speech AI)
- 强化学习(Reinforcement Learning,RL)
- 知识表示与推理(Knowledge Representation and Reasoning)
- 多模态人工智能(Multimodal AI)
- 具身智能与机器人(Embodied AI and Robotics)
- 智能体技术(AI Agent)
需要先明确一个概念:
这些技术并不属于同一个分类维度。
例如:
- 机器学习描述的是模型如何从数据中学习。
- 深度学习描述的是一类基于多层神经网络的学习方法。
- 生成式 AI 描述的是模型生成新内容的能力和技术方向。
- 自然语言处理描述的是人工智能处理人类语言的任务领域。
- 多模态 AI 描述的是模型处理和关联多种模态信息的能力。
- Agent 描述的是围绕目标进行规划、决策和工具执行的系统形态。
因此,不能简单地认为这些技术是彼此平级、互不相关的分类。
二、人工智能的整体技术体系
从技术范式、学习方法、模型能力和应用领域几个维度,可以建立一套更容易理解的 AI 技术体系。
1. 整体分类
| 分类维度 | 主要技术 | 解决的问题 |
|---|---|---|
| AI 技术范式 | 符号主义、连接主义、行为主义 | 如何构建智能系统 |
| 学习方法 | 监督学习、无监督学习、自监督学习、强化学习 | 如何从数据和交互中学习 |
| 模型技术 | 机器学习、深度学习、神经网络、Transformer | 如何构建和训练模型 |
| 内容生成 | LLM、Diffusion、GAN、VAE | 如何生成文本、图像、音频和视频 |
| 感知与理解 | NLP、CV、语音识别 | 如何理解外部信息 |
| 推理与决策 | 知识推理、规划、搜索、强化学习 | 如何分析问题和选择行动 |
| 系统形态 | 多模态 AI、Agent、多 Agent | 如何组织模型能力完成复杂任务 |
| 交互与执行 | 机器人、具身智能、工具调用 | 如何与物理或数字环境交互 |
2. 技术体系关系图
flowchart TB
A["人工智能 AI"]
A --> B["技术范式"]
A --> C["学习方法"]
A --> D["模型与算法"]
A --> E["能力与应用领域"]
A --> F["智能系统"]
B --> B1["符号主义"]
B --> B2["连接主义"]
B --> B3["行为主义"]
C --> C1["监督学习"]
C --> C2["无监督学习"]
C --> C3["自监督学习"]
C --> C4["强化学习"]
D --> D1["传统机器学习"]
D --> D2["深度学习"]
D --> D3["生成模型"]
E --> E1["自然语言处理"]
E --> E2["计算机视觉"]
E --> E3["语音技术"]
E --> E4["多模态 AI"]
F --> F1["大语言模型"]
F --> F2["AI Agent"]
F --> F3["具身智能"]
classDef root fill:#DCEFE5,stroke:#4F8B70,color:#24563F,stroke-width:2px
classDef group fill:#EAF3EC,stroke:#83A995,color:#315D49
classDef item fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
class A root
class B,C,D,E,F group
class B1,B2,B3,C1,C2,C3,C4,D1,D2,D3,E1,E2,E3,E4,F1,F2,F3 item
这张图是知识体系的概览,不代表各项技术之间严格的包含关系。例如,大语言模型属于深度学习模型,通常采用自监督学习进行预训练,同时也可以结合强化学习进行后训练。
下面从核心技术出发,逐层理解它们的原理和关系。
三、人工智能的三大技术范式
从人工智能的发展历史和技术思想来看,经典的 AI 研究通常可以从三种范式理解:
- 符号主义(Symbolism)
- 连接主义(Connectionism)
- 行为主义(Behaviorism)
它们代表了构建智能系统的不同思路。
1. 符号主义:通过规则和逻辑实现智能
符号主义认为,智能可以通过符号、知识和逻辑规则进行表达与推理。
其核心思想是:
将现实世界中的知识表示为符号,再通过逻辑规则推导出新的结论。
例如,一个简单的规则系统:
规则 1:所有人都会衰老
规则 2:张三是人
推理结果:张三会衰老
系统并不需要通过大量数据训练来学习这个结论,而是直接根据预先定义的知识和规则进行推理。
主要技术包括:
- 逻辑推理(Logical Reasoning)
- 规则系统(Rule-based System)
- 专家系统(Expert System)
- 知识表示(Knowledge Representation)
- 自动规划(Automated Planning)
- 搜索算法(Search Algorithms)
典型应用:
- 医疗专家系统
- 规则引擎
- 自动定理证明
- 业务决策系统
- 知识推理系统
技术特点:
优点: - 推理过程相对明确。 - 规则和知识具有较强的可解释性。 - 适合规则清晰、约束明确的领域。
局限: - 依赖人工构建知识和规则。 - 难以处理复杂、模糊和不确定的信息。 - 面对开放环境时,规则维护成本较高。
符号主义在现代 AI 中并没有消失。知识图谱、规则引擎、约束求解和神经符号 AI 等技术,仍然大量借鉴这一思想。
2. 连接主义:通过神经网络学习智能
连接主义(Connectionism)认为,智能可以通过大量简单计算单元之间的连接与协同产生。
其重要思想来源于对生物神经系统的抽象。
人工神经网络(Artificial Neural Network,ANN)是连接主义的重要技术基础。
一个简单的神经元可以抽象为:
其中:
- x_i:输入数据。
- w_i:对应的权重。
- b:偏置。
- f:激活函数。
- y:输出结果。
通过大量神经元组成网络,并利用训练算法调整网络参数,模型可以逐渐学习数据中的规律。
主要技术包括:
- 人工神经网络(ANN)
- 卷积神经网络(CNN)
- 循环神经网络(RNN)
- Transformer
- 深度神经网络(DNN)
典型应用:
- 图像识别
- 语音识别
- 自然语言处理
- 大语言模型
- 图像和视频生成
连接主义是当前深度学习和大模型技术的重要基础。
它的优势是能够从大量数据中自动学习复杂模式,不需要人工为每一种情况编写规则。
但其内部决策过程通常较难直接解释,对数据、算力和训练方法也有较高要求。
3. 行为主义:通过环境交互学习行为
行为主义强调智能体与环境之间的交互,以及通过行为结果不断调整策略。
它关注的问题不是如何显式表示所有知识,而是:
在给定环境和目标的情况下,如何选择行动,以获得更好的结果?
强化学习(Reinforcement Learning,RL)是这一思想的重要技术代表。
例如,训练一个机器人完成行走任务:
- 机器人执行动作。
- 环境根据动作产生反馈。
- 系统获得奖励或惩罚。
- 智能体调整策略。
- 通过持续交互提高任务表现。
主要技术包括:
- 马尔可夫决策过程(MDP)
- Q-Learning
- Deep Q-Network(DQN)
- Policy Gradient
- Actor-Critic
- Proximal Policy Optimization(PPO)
典型应用:
- 游戏 AI
- 机器人控制
- 自动驾驶决策
- 资源调度
- 大模型后训练
需要注意,行为主义作为 AI 技术范式与心理学中的行为主义思想有关联,但不能简单地将两者完全等同。
4. 三种范式的对比
| 对比维度 | 符号主义 | 连接主义 | 行为主义 |
|---|---|---|---|
| 核心思想 | 符号与逻辑推理 | 神经网络学习 | 环境交互与行为优化 |
| 知识来源 | 人工定义的规则和知识 | 数据训练 | 交互反馈和奖励 |
| 核心技术 | 逻辑、规则、搜索 | 神经网络、深度学习 | 强化学习、策略优化 |
| 主要优势 | 可解释、规则明确 | 表达能力强、适应复杂数据 | 能够优化连续决策 |
| 主要局限 | 知识构建成本高 | 可解释性较弱 | 训练成本和探索难度较高 |
现实中的 AI 系统并不一定只采用一种范式。
例如,现代 Agent 可以使用神经网络理解用户请求,使用搜索和规划算法组织任务,再使用规则约束执行过程。
这类结合不同范式的系统,也体现了人工智能技术的融合趋势。
四、机器学习:让计算机从数据中学习
机器学习(Machine Learning,ML)是人工智能最重要的技术领域之一。
传统程序通常由开发人员明确编写处理规则:
输入数据
↓
执行预先定义的规则
↓
输出结果
机器学习采用不同的思路:
通过训练数据和学习算法,让模型自动学习输入与输出之间的规律。
1. 机器学习的基本原理
机器学习通常包含三个核心要素:
- 数据(Data):用于训练和评估的样本。
- 模型(Model):用于表达数据规律的数学结构。
- 学习算法(Learning Algorithm):根据数据调整模型参数的方法。
以房价预测为例:
输入房屋面积、地段、楼层等特征,模型根据历史房屋交易数据学习这些特征与房价之间的关系,最终预测新房屋的价格。
可以抽象为:
其中:
- x:输入特征。
- f_\theta:参数为 \theta 的模型。
- \hat{y}:模型预测结果。
训练过程通常需要定义损失函数:
其中:
- y:真实标签。
- L:衡量预测结果与真实结果之间差异的损失函数。
- \theta^*:优化后的模型参数。
机器学习的核心任务,就是利用训练算法寻找合适的模型参数,使模型能够在未见过的数据上保持较好的表现。
2. 机器学习的主要分类
根据训练数据和反馈方式,机器学习通常分为以下几类。
2.1 监督学习(Supervised Learning)
训练数据包含输入和对应的目标标签。
模型通过学习输入与标签之间的映射关系,完成预测任务。
主要任务:
- 分类(Classification)
- 回归(Regression)
典型算法:
- 线性回归(Linear Regression)
- 逻辑回归(Logistic Regression)
- 决策树(Decision Tree)
- 随机森林(Random Forest)
- 支持向量机(SVM)
- 梯度提升树(GBDT、XGBoost)
例如:
使用已经标记为垃圾邮件和正常邮件的数据训练模型,让模型识别新的邮件是否属于垃圾邮件。
2.2 无监督学习(Unsupervised Learning)
训练数据没有明确的目标标签。
模型尝试从数据自身的结构中发现规律。
主要任务:
- 聚类(Clustering)
- 降维(Dimensionality Reduction)
- 密度估计(Density Estimation)
- 异常检测(Anomaly Detection)
典型算法:
- K-Means
- DBSCAN
- PCA
- Gaussian Mixture Model
例如:
根据用户的购买行为,将用户自动划分为不同群体,而不需要提前定义每个用户属于哪一类。
2.3 半监督学习(Semi-supervised Learning)
同时利用少量标注数据和大量未标注数据进行训练。
主要思想是利用未标注数据中的结构信息,提升模型的学习效果。
典型方法:
- Pseudo Labeling
- Consistency Regularization
- Label Propagation
适合标注成本高、未标注数据丰富的场景。
2.4 自监督学习(Self-supervised Learning)
自监督学习通过数据自身构造训练目标,不需要人工逐条标注标签。
例如:
在语言模型训练中,将文本中的部分内容作为预测目标,让模型根据上下文预测被隐藏或后续出现的内容。
常见训练任务:
- Masked Language Modeling
- Next Token Prediction
- Contrastive Learning
- Image Masked Modeling
自监督学习是现代大模型预训练的重要基础。
2.5 强化学习(Reinforcement Learning)
强化学习通过智能体与环境之间的持续交互进行学习。
核心要素包括:
- Agent:智能体。
- Environment:环境。
- State:状态。
- Action:动作。
- Reward:奖励。
- Policy:策略。
其目标通常是最大化长期累积奖励。
其中:
- \pi:策略。
- r_t:时刻 t 获得的奖励。
- \gamma:折扣因子。
- T:时间范围。
强化学习广泛应用于机器人控制、游戏决策、资源调度等领域。
3. 机器学习方法总览
flowchart TB
A["机器学习 ML"]
A --> B["监督学习"]
A --> C["无监督学习"]
A --> D["半监督学习"]
A --> E["自监督学习"]
A --> F["强化学习"]
B --> B1["分类"]
B --> B2["回归"]
C --> C1["聚类"]
C --> C2["降维"]
C --> C3["异常检测"]
D --> D1["少量标注数据"]
D --> D2["大量未标注数据"]
E --> E1["预测训练目标"]
E --> E2["对比学习"]
F --> F1["环境交互"]
F --> F2["奖励反馈"]
F --> F3["策略优化"]
classDef root fill:#DCEFE5,stroke:#4F8B70,color:#24563F,stroke-width:2px
classDef group fill:#EAF3EC,stroke:#83A995,color:#315D49
classDef item fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
class A root
class B,C,D,E,F group
class B1,B2,C1,C2,C3,D1,D2,E1,E2,F1,F2,F3 item
4. 一个容易混淆的概念:自监督学习不等于无监督学习
两者经常被放在一起讨论,但并不完全相同。
无监督学习通常不依赖明确的人工标签,重点是发现数据结构。
自监督学习则会从数据本身构造监督信号,形成明确的训练目标。
例如:
- K-Means 根据数据特征进行聚类,属于无监督学习。
- BERT 通过预测被遮盖的词进行训练,属于自监督学习。
- GPT 通过预测下一个 Token 进行预训练,也属于自监督学习。
自监督学习在训练形式上具有监督信号,但这些信号不是由人工逐条标注得到的。
这是理解现代大模型训练方式时非常重要的区别。
五、深度学习:现代 AI 的核心技术基础
深度学习(Deep Learning,DL)是机器学习的一个重要分支。
它通过多层神经网络学习数据中的复杂特征和表示。
传统机器学习往往需要人工设计特征,而深度学习可以通过多层网络,从原始数据中逐层学习特征表示。
1. 深度学习的核心原理
一个典型的神经网络由多个层组成:
- 输入层(Input Layer)
- 隐藏层(Hidden Layer)
- 输出层(Output Layer)
数据经过网络中的多个计算层,逐步完成特征变换。
flowchart LR
A["输入数据"] --> B["输入层"]
B --> C["隐藏层 1"]
C --> D["隐藏层 2"]
D --> E["隐藏层 3"]
E --> F["输出层"]
F --> G["预测结果"]
style A fill:#DCEFE5,stroke:#4F8B70,color:#24563F
style B fill:#EAF3EC,stroke:#83A995,color:#315D49
style C fill:#EAF3EC,stroke:#83A995,color:#315D49
style D fill:#EAF3EC,stroke:#83A995,color:#315D49
style E fill:#EAF3EC,stroke:#83A995,color:#315D49
style F fill:#EAF3EC,stroke:#83A995,color:#315D49
style G fill:#DCEFE5,stroke:#4F8B70,color:#24563F
训练时,网络根据预测结果和目标结果计算损失,再通过反向传播(Backpropagation)计算参数梯度,利用优化算法更新模型参数。
一个典型训练过程可以概括为:
flowchart TB
A["准备训练数据"] --> B["前向传播"]
B --> C["计算损失"]
C --> D["反向传播"]
D --> E["计算参数梯度"]
E --> F["优化器更新参数"]
F --> G{"是否达到训练条件"}
G -->|"否"| B
G -->|"是"| H["得到训练后的模型"]
style A fill:#DCEFE5,stroke:#4F8B70,color:#24563F
style B fill:#EAF3EC,stroke:#83A995,color:#315D49
style C fill:#EAF3EC,stroke:#83A995,color:#315D49
style D fill:#EAF3EC,stroke:#83A995,color:#315D49
style E fill:#EAF3EC,stroke:#83A995,color:#315D49
style F fill:#EAF3EC,stroke:#83A995,color:#315D49
style G fill:#F7F4E8,stroke:#C7B77A,color:#675A2D
style H fill:#E5F0E9,stroke:#83A995,color:#315D49
需要区分两个概念:
- 前向传播负责计算模型输出。
- 反向传播负责计算损失对模型参数的梯度。
反向传播本身并不直接更新参数,参数更新通常由 SGD、Adam 等优化器完成。
2. 深度学习的主要网络结构
2.1 CNN:卷积神经网络
CNN(Convolutional Neural Network)主要用于提取具有空间结构的数据特征。
核心组件:
- 卷积层(Convolution Layer)
- 激活函数(Activation Function)
- 池化层(Pooling Layer)
- 全连接层(Fully Connected Layer)
典型应用:
- 图像分类
- 目标检测
- 图像分割
- 医学影像分析
CNN 的重要特点是通过局部感受野和权重共享减少参数数量,并提取局部空间特征。
2.2 RNN:循环神经网络
RNN(Recurrent Neural Network)用于处理具有序列关系的数据。
它通过循环结构,将前一时刻的隐藏状态传递到当前时刻,使模型能够利用历史信息。
典型应用:
- 时间序列预测
- 早期语音识别
- 文本序列建模
传统 RNN 在处理长序列时容易出现梯度消失或梯度爆炸问题。
LSTM 和 GRU 是针对传统 RNN 长期依赖问题提出的重要改进结构。
2.3 Transformer:注意力机制架构
Transformer 是现代大模型技术的重要基础。
它以自注意力机制(Self-Attention)为核心,使模型能够计算序列中不同位置之间的关联关系。
相比传统 RNN,Transformer 更适合进行大规模并行训练。
核心组件包括:
- Token Embedding
- Positional Encoding 或位置表示机制
- Multi-Head Attention
- Feed Forward Network
- Residual Connection
- Layer Normalization
Transformer 已经成为现代大语言模型、多模态模型和许多生成式模型的重要架构基础。
2.4 GNN:图神经网络
GNN(Graph Neural Network)用于处理图结构数据。
图数据通常由节点(Node)和边(Edge)组成。
例如:
- 社交网络关系。
- 知识图谱。
- 分子结构。
- 推荐系统中的用户与物品关系。
GNN 的核心思想是通过节点之间的信息传递和聚合,学习节点、边或整个图的表示。
3. 不同深度学习架构的对比
| 架构 | 核心特点 | 典型应用 |
|---|---|---|
| CNN | 局部感受野、权重共享 | 图像识别 |
| RNN | 循环状态传递 | 序列建模 |
| LSTM / GRU | 门控机制、长期依赖建模 | 时间序列、语音 |
| Transformer | 自注意力、并行训练 | 大语言模型、多模态 |
| GNN | 图结构信息聚合 | 知识图谱、推荐 |
需要注意,网络结构与应用领域并不是一一对应的。
例如,Transformer 不只用于自然语言处理,也广泛应用于视觉、语音和多模态任务。
六、生成式人工智能:从识别和预测走向内容生成
生成式人工智能(Generative AI)是当前 AI 技术发展的重要方向。
传统判别式模型通常关注:
- 输入属于哪一个类别?
- 图片中是否存在某个目标?
- 这条交易是否属于异常行为?
生成式模型则关注:
- 如何生成一段文本?
- 如何生成一张图片?
- 如何生成一段声音?
- 如何生成一段视频?
两者解决的问题不同,但并不是完全对立的技术。
1. 什么是生成式 AI?
生成式 AI 是指能够学习训练数据的分布或结构,并根据输入条件生成新内容的人工智能技术。
生成对象可以包括:
- 文本
- 图片
- 音频
- 视频
- 代码
- 三维内容
其核心不是简单地复制训练数据,而是学习数据中的统计规律、结构和潜在表示,并据此生成新的样本。
2. 生成式 AI 的主要技术路线
2.1 自回归模型(Autoregressive Model)
自回归模型按照已有上下文逐步预测下一个 Token 或数据元素。
以大语言模型为例:
其中:
- x_t:当前生成的 Token。
- x_{<t}:当前 Token 之前的上下文。
- P(x_t|x_{<t}):根据已有上下文预测下一个 Token 的概率。
模型通过不断预测下一个 Token,逐步生成完整文本。
典型应用:
- 大语言模型。
- 代码生成。
- 文本续写。
- 对话系统。
GPT 系列模型是自回归语言模型的重要代表。
2.2 GAN:生成对抗网络
GAN(Generative Adversarial Network)由两个核心网络组成:
- Generator:生成器,负责生成样本。
- Discriminator:判别器,负责判断样本是真实数据还是生成数据。
两个网络通过对抗训练不断优化。
flowchart TB
A["随机噪声"] --> B["生成器 Generator"]
B --> C["生成样本"]
D["真实样本"] --> E["判别器 Discriminator"]
C --> E
E --> F["判别结果"]
F --> G["对抗训练与参数优化"]
G --> B
G --> E
classDef start fill:#DCEFE5,stroke:#4F8B70,color:#24563F
classDef model fill:#EAF3EC,stroke:#83A995,color:#315D49
classDef process fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
class A,D start
class B,E model
class C,F,G process
GAN 曾广泛应用于图像生成、图像增强和风格迁移等任务。
主要难点包括训练不稳定、模式崩溃(Mode Collapse)和生成器与判别器之间的平衡问题。
2.3 VAE:变分自编码器
VAE(Variational Autoencoder)是一种基于概率生成模型的深度学习架构。
它通过编码器将输入数据映射到潜在变量的概率分布,再通过解码器从潜在空间生成数据。
核心结构:
- Encoder:编码器。
- Latent Space:潜在空间。
- Decoder:解码器。
VAE 的训练目标通常包括重构损失和 KL 散度正则项。
其中:
- q_\phi(z|x):编码器得到的潜在变量分布。
- p(z):预设的先验分布。
- D_{KL}:KL 散度。
VAE 的特点是能够学习具有概率结构的潜在表示,并从潜在空间采样生成新数据。
2.4 Diffusion Model:扩散模型
扩散模型是现代图像和视频生成领域的重要技术路线。
其基本思想是:
训练阶段,通过逐步向真实数据添加噪声,构建从数据分布到噪声分布的过程;模型学习反向去噪过程,在生成阶段从随机噪声开始,逐步恢复出符合目标分布的数据。
flowchart LR
A["真实图像"] --> B["逐步添加噪声"]
B --> C["高斯噪声"]
C --> D["学习反向去噪"]
D --> E["生成图像"]
classDef data fill:#DCEFE5,stroke:#4F8B70,color:#24563F
classDef process fill:#EAF3EC,stroke:#83A995,color:#315D49
class A,C,E data
class B,D process
主要应用:
- 文生图。
- 图像编辑。
- 图像修复。
- 视频生成。
- 三维内容生成。
需要注意,图中是对扩散模型核心思想的简化表达。实际训练和采样过程还涉及噪声调度、去噪网络、条件控制和采样算法等机制。
3. 生成式 AI 的主要模型对比
| 技术 | 核心原理 | 典型应用 |
|---|---|---|
| 自回归模型 | 根据上下文预测下一个元素 | 文本、代码生成 |
| GAN | 生成器与判别器对抗训练 | 图像生成 |
| VAE | 概率潜在空间建模 | 数据生成、表示学习 |
| Diffusion | 逐步去噪生成数据 | 图像、视频生成 |
这些模型并不一定只能用于生成任务,也可能用于表示学习、数据压缩、特征提取等其他任务。
七、自然语言处理:让计算机理解和处理语言
自然语言处理(Natural Language Processing,NLP)是人工智能的重要研究领域。
它主要研究如何让计算机处理人类使用的自然语言,包括文本和语言结构的分析、理解、生成与交互。
1. NLP 的主要任务
| 技术方向 | 英文名称 | 典型应用 |
|---|---|---|
| 分词 | Tokenization | 文本切分 |
| 词性标注 | POS Tagging | 词语语法分析 |
| 命名实体识别 | NER | 人名、地点、组织识别 |
| 情感分析 | Sentiment Analysis | 用户评价分析 |
| 文本分类 | Text Classification | 垃圾邮件识别 |
| 机器翻译 | Machine Translation | 多语言翻译 |
| 信息抽取 | Information Extraction | 结构化信息提取 |
| 文本摘要 | Text Summarization | 文档摘要 |
| 问答系统 | Question Answering | 智能问答 |
| 文本生成 | Text Generation | 内容生成 |
2. NLP 的技术演进
NLP 的技术发展大致经历了几个阶段:
- 基于规则的方法。
- 基于统计机器学习的方法。
- 基于神经网络的方法。
- 基于预训练语言模型的方法。
- 基于大语言模型的方法。
其中,预训练语言模型改变了 NLP 的技术路线。
传统任务通常需要针对不同任务分别设计模型和训练数据,而预训练模型可以先从大规模文本中学习通用语言表示,再通过微调、提示或其他方式适配具体任务。
3. 大语言模型(LLM)
大语言模型(Large Language Model,LLM)是基于大规模数据训练的语言模型。
现代主流 LLM 通常采用 Transformer 架构,并通过大规模预训练获得语言建模能力。
典型能力包括:
- 文本理解。
- 文本生成。
- 代码生成。
- 信息提取。
- 文本总结。
- 多轮对话。
- 推理与问题求解。
LLM 并不等于 NLP 的全部。
它是 NLP 技术发展的重要成果,但 NLP 还包括大量不依赖大语言模型的传统任务和专用模型。
八、计算机视觉:让计算机理解图像和视频
计算机视觉(Computer Vision,CV)研究如何让计算机从图像和视频中提取信息、识别目标并理解视觉内容。
它的核心任务是将像素数据转换成具有语义意义的信息。
1. 计算机视觉的主要任务
| 技术方向 | 英文名称 | 典型应用 |
|---|---|---|
| 图像分类 | Image Classification | 判断图片类别 |
| 目标检测 | Object Detection | 识别物体及位置 |
| 图像分割 | Image Segmentation | 像素级区域划分 |
| 人脸识别 | Face Recognition | 身份验证 |
| 姿态估计 | Pose Estimation | 人体动作分析 |
| 图像生成 | Image Generation | AI 绘图 |
| 图像增强 | Image Enhancement | 降噪、超分辨率 |
| 视频理解 | Video Understanding | 行为识别、事件分析 |
2. 典型视觉任务的区别
图像分类、目标检测和图像分割是三个经常混淆的概念。
- 图像分类:判断整张图像属于什么类别。
- 目标检测:识别图像中有哪些目标,并给出目标位置。
- 图像分割:进一步确定每个目标对应哪些像素区域。
它们对视觉信息的理解粒度不同。
例如,一张包含汽车、行人和道路的图片:
- 分类模型可能判断图片属于交通场景。
- 检测模型可以标记汽车和行人的边界框。
- 分割模型可以进一步标记道路、汽车和行人的像素区域。
3. 视觉模型的发展
计算机视觉经历了从人工特征工程到深度学习的技术演进。