返回专栏
· 15 分钟阅读

语法(Syntax)


一、什么是语法?

语法(Syntax)是编程语言规定的代码组织规则,用于定义程序中各种语言结构应该如何书写,以及这些结构如何组合。

简单来说,语法回答的是:

一段代码应该按照什么规则组织,才是合法的程序表达式?

例如,Python 中:

x = 10
print(x)

这段代码符合 Python 的语法规则。

而下面的代码:

if x > 10
    print(x)

缺少冒号,不符合 Python 的语法要求。

语法主要规定:

  • 关键字如何使用。
  • 标识符如何命名。
  • 运算符如何组合。
  • 表达式如何构成。
  • 语句如何组织。
  • 代码块如何划分。
  • 函数、类和模块如何定义。

不同编程语言拥有不同的语法规则。

例如:

# Python
if x > 10:
    print("大于 10")
// JavaScript
if (x > 10) {
    console.log("大于 10");
}

两段代码表达相同的逻辑,但语法结构不同。

二、语法与词法的区别

理解语法之前,需要先区分词法(Lexical)和语法(Syntax)。

它们是编译器前端处理源代码的两个不同阶段。

1. 词法:识别代码中的基本单元

词法分析(Lexical Analysis)负责将源代码拆分成一个个具有意义的基本单元,这些单元称为词法单元(Token)。

例如:

total = price + 100

经过词法分析,可以得到:

源代码片段 Token 类型
total 标识符
= 赋值运算符
price 标识符
+ 加法运算符
100 整数字面量

词法分析主要关注:

  • 字符是否合法。
  • 标识符如何识别。
  • 关键字如何识别。
  • 数字和字符串如何识别。
  • 运算符如何识别。
  • 空白字符和注释如何处理。

2. 语法:识别 Token 之间的结构关系

语法分析(Syntax Analysis)接收词法分析产生的 Token 序列,根据语言的语法规则判断这些 Token 是否能够构成合法的程序结构。

例如:

total = price + 100

语法分析器会识别出:

  • price + 100 是一个加法表达式。
  • total = ... 是一个赋值语句。
  • 整条语句符合赋值语句的语法结构。

3. 词法分析与语法分析的关系

flowchart TB
    A["源代码"] --> B["词法分析"]
    B --> C["Token 序列"]
    C --> D["语法分析"]
    D --> E["语法树"]
    E --> F["后续语义分析"]

    style A fill:#E5F4EC,stroke:#A3CBB5,color:#334155
    style B fill:#E0F0FE,stroke:#93BCE8,color:#1E4976
    style C fill:#F3EDFC,stroke:#C4B2E3,color:#334155
    style D fill:#E0F0FE,stroke:#93BCE8,color:#1E4976
    style E fill:#E5F4EC,stroke:#A3CBB5,color:#334155
    style F fill:#FFF5DE,stroke:#E8D29A,color:#334155
    linkStyle default stroke:#A3B8AC,stroke-width:1.5px

两者的核心区别:

对比维度 词法分析 语法分析
英文 Lexical Analysis Syntax Analysis
处理对象 字符序列 Token 序列
核心任务 识别基本单元 识别结构关系
输出结果 Token 语法树或抽象语法树
典型错误 非法字符、非法数字 缺少括号、表达式结构错误

例如:

x = 10 + * 5

其中 10、+、* 和 5 都是合法的词法单元,但它们的组合不符合 Python 表达式的语法规则。

这属于语法错误,而不是词法错误。

三、语法的基本组成

编程语言的语法由一系列规则组成,用于定义不同代码结构的合法形式。

常见组成包括以下内容。

1. 关键字(Keyword)

关键字是语言预先定义、具有特殊语法含义的单词。

例如:

Python:

if
else
for
while
def
class
return
import

Java:

public
private
class
static
void
if
else
return

关键字通常不能直接作为普通标识符使用。

例如:

class = 10

在 Python 中,class 是关键字,不能作为普通变量名。

2. 标识符(Identifier)

标识符用于命名程序中的各种元素,例如:

  • 变量。
  • 函数。
  • 类。
  • 模块。
  • 参数。
  • 属性。

例如:

user_name = "Alice"

def calculate_total():
    return 100

其中 user_name 和 calculate_total 都是标识符。

不同语言对标识符有不同的命名规则。

Python 标识符通常遵循:

  • 可以包含字母、数字和下划线。
  • 不能以数字开头。
  • 区分大小写。
  • 不能使用关键字。
user_name = "Alice"  # 合法
_user = "Bob"        # 合法
user2 = "Tom"        # 合法

2user = "Jack"       # 非法

3. 字面量(Literal)

字面量是直接写在源代码中的固定值。

常见类型包括:

类型 示例
整数 100
浮点数 3.14
字符串 "Hello"
布尔值 True、False
空值 None
集合字面量 [1, 2, 3]

例如:

age = 18
price = 99.5
name = "Alice"
enabled = True

字面量与变量不同。

字面量直接表示一个值,而变量通过标识符引用或绑定数据。

4. 运算符(Operator)

运算符用于构成表达式,描述计算、比较和逻辑操作。

常见运算符:

类别 运算符 作用
算术运算符 + - * / % 数值计算
比较运算符 == != > < >= <= 比较大小或相等性
逻辑运算符 and or not 逻辑判断
赋值运算符 = += -= *= 赋值和更新
位运算符 & \| ^ ~ << >> 位级计算

不同语言的运算符集合、含义和优先级可能不同。

例如,Python 使用 and、or 表示逻辑运算,而 Java 和 JavaScript 使用 &&、||。

5. 分隔符(Delimiter)

分隔符用于划分代码结构和表达式。

常见分隔符包括:

  • ():圆括号。
  • []:方括号。
  • {}:花括号。
  • ,:逗号。
  • ::冒号。
  • ;:分号。
  • .:成员访问符号。

不同语言对分隔符的使用方式不同。

例如:

# Python
numbers = [1, 2, 3]

if len(numbers) > 0:
    print(numbers[0])
// JavaScript
const numbers = [1, 2, 3];

if (numbers.length > 0) {
    console.log(numbers[0]);
}

Python 使用缩进组织代码块,JavaScript 使用花括号。

四、语法规则与形式化描述

编程语言的语法不能仅靠自然语言描述,还需要一种能够精确表达规则的形式化方法。

其中,上下文无关文法(Context-Free Grammar,CFG)是描述编程语言语法的重要理论基础。

1. 什么是文法?

文法(Grammar)是一组用于定义语言结构的规则。

通常可以表示为:

G = (V, \Sigma, P, S)

其中:

  • V:非终结符集合。
  • \Sigma:终结符集合。
  • P:产生式规则集合。
  • S:开始符号。

分别理解:

终结符(Terminal)

不能继续按照文法规则展开的基本符号,例如关键字、运算符、标识符和字面量。

非终结符(Non-terminal)

可以通过产生式继续展开的语法结构,例如表达式、语句和程序。

产生式(Production Rule)

定义一个非终结符可以如何展开。

开始符号(Start Symbol)

文法推导的起点,通常代表程序或某个完整语法结构。

2. 一个简单的表达式文法

例如,定义一个简单的四则表达式文法:

Expr   → Expr + Term
Expr   → Expr - Term
Expr   → Term

Term   → Term * Factor
Term   → Term / Factor
Term   → Factor

Factor → ( Expr )
Factor → NUMBER

这里:

  • Expr 表示表达式。
  • Term 表示项。
  • Factor 表示因子。
  • NUMBER 表示数字。
  • +、-、*、/ 和括号是终结符。

该文法将表达式拆分为不同层次,能够体现乘除优先于加减的结构。

例如:

1 + 2 * 3

可以按照文法展开为:

Expr
  → Expr + Term
  → Term + Term
  → Factor + Term
  → NUMBER + Term
  → NUMBER + Term * Factor
  → NUMBER + NUMBER * NUMBER

最终得到:

1 + 2 * 3

3. 语法推导的结构

flowchart TB
    A["开始符号 Expr"] --> B["表达式产生式"]
    B --> C["Term + Term"]
    C --> D["Factor + Factor * Factor"]
    D --> E["NUMBER + NUMBER * NUMBER"]
    E --> F["1 + 2 * 3"]

    style A fill:#E0F0FE,stroke:#93BCE8,color:#1E4976
    style B fill:#F3EDFC,stroke:#C4B2E3,color:#334155
    style C fill:#E5F4EC,stroke:#A3CBB5,color:#334155
    style D fill:#FFF5DE,stroke:#E8D29A,color:#334155
    style E fill:#E8EDF2,stroke:#B8C3CE,color:#334155
    style F fill:#E5F4EC,stroke:#A3CBB5,color:#334155
    linkStyle default stroke:#A3B8AC,stroke-width:1.5px

需要注意,这里展示的是一种文法推导思路,不是编译器内部唯一的实现方式。

4. BNF 与 EBNF

在描述编程语言语法时,常见的形式化表示方法包括 BNF 和 EBNF。

BNF(Backus-Naur Form)

巴科斯-诺尔范式,用于描述上下文无关文法。

例如:

<assignment> ::= <identifier> "=" <expression>

表示赋值语句由标识符、等号和表达式组成。

EBNF(Extended Backus-Naur Form)

扩展巴科斯-诺尔范式,在 BNF 基础上增加了更方便的表示方式。

常见符号:

符号 含义
= 定义
\| 多种选择
[ ] 可选部分
{ } 重复部分
( ) 分组

例如:

assignment = identifier, "=", expression ;

不同语言规范可能采用不同的文法表示形式。BNF 和 EBNF 是语法描述工具,不是编程语言本身。

五、语法树与抽象语法树

语法分析器不仅需要判断代码是否合法,还需要识别代码的层次结构。

这个结构通常通过语法树表示。

1. 语法树(Parse Tree)

语法树又称分析树,记录源代码按照文法规则推导出来的完整结构。

例如:

1 + 2 * 3

根据前面的表达式文法,可以形成如下结构:

flowchart TB
    A["Expr"] --> B["Expr"]
    A --> C["+"]
    A --> D["Term"]
    B --> E["Term"]
    E --> F["Factor"]
    F --> G["1"]
    D --> H["Term"]
    D --> I["*"]
    D --> J["Factor"]
    H --> K["Factor"]
    K --> L["2"]
    J --> M["3"]

    style A fill:#E0F0FE,stroke:#93BCE8,color:#1E4976
    style B fill:#E5F4EC,stroke:#A3CBB5,color:#334155
    style C fill:#FFF5DE,stroke:#E8D29A,color:#334155
    style D fill:#E5F4EC,stroke:#A3CBB5,color:#334155
    style E fill:#F3EDFC,stroke:#C4B2E3,color:#334155
    style F fill:#F3EDFC,stroke:#C4B2E3,color:#334155
    style G fill:#E8EDF2,stroke:#B8C3CE,color:#334155
    style H fill:#F3EDFC,stroke:#C4B2E3,color:#334155
    style I fill:#FFF5DE,stroke:#E8D29A,color:#334155
    style J fill:#F3EDFC,stroke:#C4B2E3,color:#334155
    style K fill:#F3EDFC,stroke:#C4B2E3,color:#334155
    style L fill:#E8EDF2,stroke:#B8C3CE,color:#334155
    style M fill:#E8EDF2,stroke:#B8C3CE,color:#334155
    linkStyle default stroke:#A3B8AC,stroke-width:1.5px

语法树保留了文法中的中间结构,例如 Expr、Term 和 Factor。

2. 抽象语法树(Abstract Syntax Tree,AST)

抽象语法树是对语法树进行抽象后的结构。

它会省略部分语法细节,只保留对程序结构和语义分析有价值的信息。

对于:

1 + 2 * 3

AST 可以表示为:

flowchart TB
    A["加法节点 +"] --> B["数字 1"]
    A --> C["乘法节点 *"]
    C --> D["数字 2"]
    C --> E["数字 3"]

    style A fill:#E0F0FE,stroke:#93BCE8,color:#1E4976
    style B fill:#E5F4EC,stroke:#A3CBB5,color:#334155
    style C fill:#F3EDFC,stroke:#C4B2E3,color:#334155
    style D fill:#FFF5DE,stroke:#E8D29A,color:#334155
    style E fill:#FFF5DE,stroke:#E8D29A,color:#334155
    linkStyle default stroke:#A3B8AC,stroke-width:1.5px

AST 清楚地表示:

  • 最外层操作是加法。
  • 左侧操作数是 1。
  • 右侧操作数是乘法表达式。
  • 乘法表达式的两个操作数是 2 和 3。

3. 语法树与 AST 的区别

对比维度 语法树 抽象语法树
英文 Parse Tree Abstract Syntax Tree
结构 完整反映文法推导 保留核心程序结构
中间语法节点 通常较多 通常会省略
语法细节 保留较多 省略部分细节
主要用途 语法分析和文法推导 语义分析、优化和代码生成

AST 是现代编译器和许多代码分析工具的重要数据结构。

需要注意,AST 的具体结构由语言规范、解析器实现和工具设计决定,并不存在所有语言通用的唯一 AST 结构。

六、运算符优先级与结合性

表达式中存在多个运算符时,需要明确它们的计算顺序。

两个非常重要的概念是:

  • 运算符优先级(Operator Precedence)。
  • 运算符结合性(Operator Associativity)。

1. 运算符优先级

优先级决定不同运算符之间的计算顺序。

例如:

result = 1 + 2 * 3

乘法的优先级高于加法,因此:

1 + 2 \times 3 = 7

而不是:

(1 + 2) \times 3 = 9

常见优先级示意:

运算符 典型含义 常见优先级
() 括号 高
* / % 乘除取模 较高
+ - 加减 较高
> < >= <= 比较 较低
== != 相等比较 较低
and / && 逻辑与 更低
or / \|\| 逻辑或 更低
= 赋值 通常较低

这只是常见情况,不同语言的优先级表并不完全相同。

例如,Python 和 JavaScript 对部分运算符的优先级及结合规则存在差异,不能直接套用一张统一表。

2. 运算符结合性

当多个相同优先级的运算符连续出现时,需要通过结合性确定表达式的分组方式。

例如:

result = 10 - 5 - 2

减法通常具有左结合性:

(10 - 5) - 2 = 3

而不是:

10 - (5 - 2) = 7

赋值运算符在许多语言中具有右结合性。

例如:

a = b = 10

可以理解为先将 10 赋给 b,再将 b 的值赋给 a。

3. 优先级与结合性的区别

概念 解决的问题 示例
优先级 不同运算符谁先参与计算 1 + 2 * 3
结合性 同优先级运算符如何分组 10 - 5 - 2

优先级和结合性共同决定表达式的语法结构。

实际开发中,如果表达式存在歧义风险,使用括号明确分组通常是更好的选择。

七、语法错误与语义错误

程序能够通过语法分析,不代表程序一定正确。

编程语言还需要检查代码在语义层面是否合理。

1. 语法错误(Syntax Error)

语法错误是指代码不符合语言规定的语法规则。

例如:

if x > 10
    print(x)

缺少冒号,Python 无法按照语法规则解析这段代码。

再例如:

result = 10 + * 5

运算符组合不合法。

2. 语义错误(Semantic Error)

语义错误是指代码结构符合语法规则,但其含义不符合语言规则或程序预期。

例如:

age = "18"
result = age + 10

这段代码本身符合 Python 语法,但字符串与整数不能直接进行这种加法运算,会在运行时产生类型错误。

再例如:

def calculate():
    return unknown_variable

代码语法合法,但 unknown_variable 如果没有定义,运行时会出现名称解析错误。

3. 语法错误与语义错误的区别

对比维度 语法错误 语义错误
核心问题 代码结构不合法 代码含义或使用方式不正确
典型原因 缺少括号、冒号、非法结构 类型不匹配、名称未定义
发现阶段 通常在语法分析阶段 语义分析或运行阶段
是否能构建语法树 通常不能完整构建对应结构 通常可以
示例 if x > 10 "18" + 10

需要特别区分:语义错误不一定都会在编译阶段发现。

对于静态类型语言,很多类型问题可以在编译期检查;对于动态类型语言,部分问题可能直到运行时才暴露。

此外,业务逻辑错误也属于更广义的程序错误。例如,计算折扣时公式写错,即使语法和类型都正确,结果仍然可能不符合业务预期。

八、编译器如何进行语法分析?

语法分析是编译器前端的重要组成部分。

编译器接收词法分析产生的 Token,根据语言文法构建语法结构,并为后续语义分析和代码生成提供基础。

1. 语法分析的基本流程