一、什么是语法?
语法(Syntax)是编程语言规定的代码组织规则,用于定义程序中各种语言结构应该如何书写,以及这些结构如何组合。
简单来说,语法回答的是:
一段代码应该按照什么规则组织,才是合法的程序表达式?
例如,Python 中:
x = 10
print(x)
这段代码符合 Python 的语法规则。
而下面的代码:
if x > 10
print(x)
缺少冒号,不符合 Python 的语法要求。
语法主要规定:
- 关键字如何使用。
- 标识符如何命名。
- 运算符如何组合。
- 表达式如何构成。
- 语句如何组织。
- 代码块如何划分。
- 函数、类和模块如何定义。
不同编程语言拥有不同的语法规则。
例如:
# Python
if x > 10:
print("大于 10")
// JavaScript
if (x > 10) {
console.log("大于 10");
}
两段代码表达相同的逻辑,但语法结构不同。
二、语法与词法的区别
理解语法之前,需要先区分词法(Lexical)和语法(Syntax)。
它们是编译器前端处理源代码的两个不同阶段。
1. 词法:识别代码中的基本单元
词法分析(Lexical Analysis)负责将源代码拆分成一个个具有意义的基本单元,这些单元称为词法单元(Token)。
例如:
total = price + 100
经过词法分析,可以得到:
| 源代码片段 | Token 类型 |
|---|---|
total |
标识符 |
= |
赋值运算符 |
price |
标识符 |
+ |
加法运算符 |
100 |
整数字面量 |
词法分析主要关注:
- 字符是否合法。
- 标识符如何识别。
- 关键字如何识别。
- 数字和字符串如何识别。
- 运算符如何识别。
- 空白字符和注释如何处理。
2. 语法:识别 Token 之间的结构关系
语法分析(Syntax Analysis)接收词法分析产生的 Token 序列,根据语言的语法规则判断这些 Token 是否能够构成合法的程序结构。
例如:
total = price + 100
语法分析器会识别出:
price + 100是一个加法表达式。total = ...是一个赋值语句。- 整条语句符合赋值语句的语法结构。
3. 词法分析与语法分析的关系
flowchart TB
A["源代码"] --> B["词法分析"]
B --> C["Token 序列"]
C --> D["语法分析"]
D --> E["语法树"]
E --> F["后续语义分析"]
style A fill:#E5F4EC,stroke:#A3CBB5,color:#334155
style B fill:#E0F0FE,stroke:#93BCE8,color:#1E4976
style C fill:#F3EDFC,stroke:#C4B2E3,color:#334155
style D fill:#E0F0FE,stroke:#93BCE8,color:#1E4976
style E fill:#E5F4EC,stroke:#A3CBB5,color:#334155
style F fill:#FFF5DE,stroke:#E8D29A,color:#334155
linkStyle default stroke:#A3B8AC,stroke-width:1.5px
两者的核心区别:
| 对比维度 | 词法分析 | 语法分析 |
|---|---|---|
| 英文 | Lexical Analysis | Syntax Analysis |
| 处理对象 | 字符序列 | Token 序列 |
| 核心任务 | 识别基本单元 | 识别结构关系 |
| 输出结果 | Token | 语法树或抽象语法树 |
| 典型错误 | 非法字符、非法数字 | 缺少括号、表达式结构错误 |
例如:
x = 10 + * 5
其中 10、+、* 和 5 都是合法的词法单元,但它们的组合不符合 Python 表达式的语法规则。
这属于语法错误,而不是词法错误。
三、语法的基本组成
编程语言的语法由一系列规则组成,用于定义不同代码结构的合法形式。
常见组成包括以下内容。
1. 关键字(Keyword)
关键字是语言预先定义、具有特殊语法含义的单词。
例如:
Python:
if
else
for
while
def
class
return
import
Java:
public
private
class
static
void
if
else
return
关键字通常不能直接作为普通标识符使用。
例如:
class = 10
在 Python 中,class 是关键字,不能作为普通变量名。
2. 标识符(Identifier)
标识符用于命名程序中的各种元素,例如:
- 变量。
- 函数。
- 类。
- 模块。
- 参数。
- 属性。
例如:
user_name = "Alice"
def calculate_total():
return 100
其中 user_name 和 calculate_total 都是标识符。
不同语言对标识符有不同的命名规则。
Python 标识符通常遵循:
- 可以包含字母、数字和下划线。
- 不能以数字开头。
- 区分大小写。
- 不能使用关键字。
user_name = "Alice" # 合法
_user = "Bob" # 合法
user2 = "Tom" # 合法
2user = "Jack" # 非法
3. 字面量(Literal)
字面量是直接写在源代码中的固定值。
常见类型包括:
| 类型 | 示例 |
|---|---|
| 整数 | 100 |
| 浮点数 | 3.14 |
| 字符串 | "Hello" |
| 布尔值 | True、False |
| 空值 | None |
| 集合字面量 | [1, 2, 3] |
例如:
age = 18
price = 99.5
name = "Alice"
enabled = True
字面量与变量不同。
字面量直接表示一个值,而变量通过标识符引用或绑定数据。
4. 运算符(Operator)
运算符用于构成表达式,描述计算、比较和逻辑操作。
常见运算符:
| 类别 | 运算符 | 作用 |
|---|---|---|
| 算术运算符 | + - * / % |
数值计算 |
| 比较运算符 | == != > < >= <= |
比较大小或相等性 |
| 逻辑运算符 | and or not |
逻辑判断 |
| 赋值运算符 | = += -= *= |
赋值和更新 |
| 位运算符 | & \| ^ ~ << >> |
位级计算 |
不同语言的运算符集合、含义和优先级可能不同。
例如,Python 使用 and、or 表示逻辑运算,而 Java 和 JavaScript 使用 &&、||。
5. 分隔符(Delimiter)
分隔符用于划分代码结构和表达式。
常见分隔符包括:
():圆括号。[]:方括号。{}:花括号。,:逗号。::冒号。;:分号。.:成员访问符号。
不同语言对分隔符的使用方式不同。
例如:
# Python
numbers = [1, 2, 3]
if len(numbers) > 0:
print(numbers[0])
// JavaScript
const numbers = [1, 2, 3];
if (numbers.length > 0) {
console.log(numbers[0]);
}
Python 使用缩进组织代码块,JavaScript 使用花括号。
四、语法规则与形式化描述
编程语言的语法不能仅靠自然语言描述,还需要一种能够精确表达规则的形式化方法。
其中,上下文无关文法(Context-Free Grammar,CFG)是描述编程语言语法的重要理论基础。
1. 什么是文法?
文法(Grammar)是一组用于定义语言结构的规则。
通常可以表示为:
其中:
- V:非终结符集合。
- \Sigma:终结符集合。
- P:产生式规则集合。
- S:开始符号。
分别理解:
终结符(Terminal)
不能继续按照文法规则展开的基本符号,例如关键字、运算符、标识符和字面量。
非终结符(Non-terminal)
可以通过产生式继续展开的语法结构,例如表达式、语句和程序。
产生式(Production Rule)
定义一个非终结符可以如何展开。
开始符号(Start Symbol)
文法推导的起点,通常代表程序或某个完整语法结构。
2. 一个简单的表达式文法
例如,定义一个简单的四则表达式文法:
Expr → Expr + Term
Expr → Expr - Term
Expr → Term
Term → Term * Factor
Term → Term / Factor
Term → Factor
Factor → ( Expr )
Factor → NUMBER
这里:
Expr表示表达式。Term表示项。Factor表示因子。NUMBER表示数字。+、-、*、/和括号是终结符。
该文法将表达式拆分为不同层次,能够体现乘除优先于加减的结构。
例如:
1 + 2 * 3
可以按照文法展开为:
Expr
→ Expr + Term
→ Term + Term
→ Factor + Term
→ NUMBER + Term
→ NUMBER + Term * Factor
→ NUMBER + NUMBER * NUMBER
最终得到:
1 + 2 * 3
3. 语法推导的结构
flowchart TB
A["开始符号 Expr"] --> B["表达式产生式"]
B --> C["Term + Term"]
C --> D["Factor + Factor * Factor"]
D --> E["NUMBER + NUMBER * NUMBER"]
E --> F["1 + 2 * 3"]
style A fill:#E0F0FE,stroke:#93BCE8,color:#1E4976
style B fill:#F3EDFC,stroke:#C4B2E3,color:#334155
style C fill:#E5F4EC,stroke:#A3CBB5,color:#334155
style D fill:#FFF5DE,stroke:#E8D29A,color:#334155
style E fill:#E8EDF2,stroke:#B8C3CE,color:#334155
style F fill:#E5F4EC,stroke:#A3CBB5,color:#334155
linkStyle default stroke:#A3B8AC,stroke-width:1.5px
需要注意,这里展示的是一种文法推导思路,不是编译器内部唯一的实现方式。
4. BNF 与 EBNF
在描述编程语言语法时,常见的形式化表示方法包括 BNF 和 EBNF。
BNF(Backus-Naur Form)
巴科斯-诺尔范式,用于描述上下文无关文法。
例如:
<assignment> ::= <identifier> "=" <expression>
表示赋值语句由标识符、等号和表达式组成。
EBNF(Extended Backus-Naur Form)
扩展巴科斯-诺尔范式,在 BNF 基础上增加了更方便的表示方式。
常见符号:
| 符号 | 含义 |
|---|---|
= |
定义 |
\| |
多种选择 |
[ ] |
可选部分 |
{ } |
重复部分 |
( ) |
分组 |
例如:
assignment = identifier, "=", expression ;
不同语言规范可能采用不同的文法表示形式。BNF 和 EBNF 是语法描述工具,不是编程语言本身。
五、语法树与抽象语法树
语法分析器不仅需要判断代码是否合法,还需要识别代码的层次结构。
这个结构通常通过语法树表示。
1. 语法树(Parse Tree)
语法树又称分析树,记录源代码按照文法规则推导出来的完整结构。
例如:
1 + 2 * 3
根据前面的表达式文法,可以形成如下结构:
flowchart TB
A["Expr"] --> B["Expr"]
A --> C["+"]
A --> D["Term"]
B --> E["Term"]
E --> F["Factor"]
F --> G["1"]
D --> H["Term"]
D --> I["*"]
D --> J["Factor"]
H --> K["Factor"]
K --> L["2"]
J --> M["3"]
style A fill:#E0F0FE,stroke:#93BCE8,color:#1E4976
style B fill:#E5F4EC,stroke:#A3CBB5,color:#334155
style C fill:#FFF5DE,stroke:#E8D29A,color:#334155
style D fill:#E5F4EC,stroke:#A3CBB5,color:#334155
style E fill:#F3EDFC,stroke:#C4B2E3,color:#334155
style F fill:#F3EDFC,stroke:#C4B2E3,color:#334155
style G fill:#E8EDF2,stroke:#B8C3CE,color:#334155
style H fill:#F3EDFC,stroke:#C4B2E3,color:#334155
style I fill:#FFF5DE,stroke:#E8D29A,color:#334155
style J fill:#F3EDFC,stroke:#C4B2E3,color:#334155
style K fill:#F3EDFC,stroke:#C4B2E3,color:#334155
style L fill:#E8EDF2,stroke:#B8C3CE,color:#334155
style M fill:#E8EDF2,stroke:#B8C3CE,color:#334155
linkStyle default stroke:#A3B8AC,stroke-width:1.5px
语法树保留了文法中的中间结构,例如 Expr、Term 和 Factor。
2. 抽象语法树(Abstract Syntax Tree,AST)
抽象语法树是对语法树进行抽象后的结构。
它会省略部分语法细节,只保留对程序结构和语义分析有价值的信息。
对于:
1 + 2 * 3
AST 可以表示为:
flowchart TB
A["加法节点 +"] --> B["数字 1"]
A --> C["乘法节点 *"]
C --> D["数字 2"]
C --> E["数字 3"]
style A fill:#E0F0FE,stroke:#93BCE8,color:#1E4976
style B fill:#E5F4EC,stroke:#A3CBB5,color:#334155
style C fill:#F3EDFC,stroke:#C4B2E3,color:#334155
style D fill:#FFF5DE,stroke:#E8D29A,color:#334155
style E fill:#FFF5DE,stroke:#E8D29A,color:#334155
linkStyle default stroke:#A3B8AC,stroke-width:1.5px
AST 清楚地表示:
- 最外层操作是加法。
- 左侧操作数是
1。 - 右侧操作数是乘法表达式。
- 乘法表达式的两个操作数是
2和3。
3. 语法树与 AST 的区别
| 对比维度 | 语法树 | 抽象语法树 |
|---|---|---|
| 英文 | Parse Tree | Abstract Syntax Tree |
| 结构 | 完整反映文法推导 | 保留核心程序结构 |
| 中间语法节点 | 通常较多 | 通常会省略 |
| 语法细节 | 保留较多 | 省略部分细节 |
| 主要用途 | 语法分析和文法推导 | 语义分析、优化和代码生成 |
AST 是现代编译器和许多代码分析工具的重要数据结构。
需要注意,AST 的具体结构由语言规范、解析器实现和工具设计决定,并不存在所有语言通用的唯一 AST 结构。
六、运算符优先级与结合性
表达式中存在多个运算符时,需要明确它们的计算顺序。
两个非常重要的概念是:
- 运算符优先级(Operator Precedence)。
- 运算符结合性(Operator Associativity)。
1. 运算符优先级
优先级决定不同运算符之间的计算顺序。
例如:
result = 1 + 2 * 3
乘法的优先级高于加法,因此:
而不是:
常见优先级示意:
| 运算符 | 典型含义 | 常见优先级 |
|---|---|---|
() |
括号 | 高 |
* / % |
乘除取模 | 较高 |
+ - |
加减 | 较高 |
> < >= <= |
比较 | 较低 |
== != |
相等比较 | 较低 |
and / && |
逻辑与 | 更低 |
or / \|\| |
逻辑或 | 更低 |
= |
赋值 | 通常较低 |
这只是常见情况,不同语言的优先级表并不完全相同。
例如,Python 和 JavaScript 对部分运算符的优先级及结合规则存在差异,不能直接套用一张统一表。
2. 运算符结合性
当多个相同优先级的运算符连续出现时,需要通过结合性确定表达式的分组方式。
例如:
result = 10 - 5 - 2
减法通常具有左结合性:
而不是:
赋值运算符在许多语言中具有右结合性。
例如:
a = b = 10
可以理解为先将 10 赋给 b,再将 b 的值赋给 a。
3. 优先级与结合性的区别
| 概念 | 解决的问题 | 示例 |
|---|---|---|
| 优先级 | 不同运算符谁先参与计算 | 1 + 2 * 3 |
| 结合性 | 同优先级运算符如何分组 | 10 - 5 - 2 |
优先级和结合性共同决定表达式的语法结构。
实际开发中,如果表达式存在歧义风险,使用括号明确分组通常是更好的选择。
七、语法错误与语义错误
程序能够通过语法分析,不代表程序一定正确。
编程语言还需要检查代码在语义层面是否合理。
1. 语法错误(Syntax Error)
语法错误是指代码不符合语言规定的语法规则。
例如:
if x > 10
print(x)
缺少冒号,Python 无法按照语法规则解析这段代码。
再例如:
result = 10 + * 5
运算符组合不合法。
2. 语义错误(Semantic Error)
语义错误是指代码结构符合语法规则,但其含义不符合语言规则或程序预期。
例如:
age = "18"
result = age + 10
这段代码本身符合 Python 语法,但字符串与整数不能直接进行这种加法运算,会在运行时产生类型错误。
再例如:
def calculate():
return unknown_variable
代码语法合法,但 unknown_variable 如果没有定义,运行时会出现名称解析错误。
3. 语法错误与语义错误的区别
| 对比维度 | 语法错误 | 语义错误 |
|---|---|---|
| 核心问题 | 代码结构不合法 | 代码含义或使用方式不正确 |
| 典型原因 | 缺少括号、冒号、非法结构 | 类型不匹配、名称未定义 |
| 发现阶段 | 通常在语法分析阶段 | 语义分析或运行阶段 |
| 是否能构建语法树 | 通常不能完整构建对应结构 | 通常可以 |
| 示例 | if x > 10 |
"18" + 10 |
需要特别区分:语义错误不一定都会在编译阶段发现。
对于静态类型语言,很多类型问题可以在编译期检查;对于动态类型语言,部分问题可能直到运行时才暴露。
此外,业务逻辑错误也属于更广义的程序错误。例如,计算折扣时公式写错,即使语法和类型都正确,结果仍然可能不符合业务预期。
八、编译器如何进行语法分析?
语法分析是编译器前端的重要组成部分。
编译器接收词法分析产生的 Token,根据语言文法构建语法结构,并为后续语义分析和代码生成提供基础。