深度学习笔记：Transformer位置编码的机制与应用

2026年1月8日 互联网

深度学习笔记：Transformer位置编码的机制与应用

Transformer模型自2017年提出以来，凭借自注意力机制（Self-Attention）彻底改变了序列建模的范式。然而，自注意力机制本身缺乏对序列中元素位置关系的显式建模能力——它通过计算所有位置对的相似度来聚合信息，却无法区分“A在B前”还是“B在A前”。这种缺陷在处理自然语言、时间序列等有序数据时尤为突出。位置编码（Positional Encoding）的引入，正是为了弥补这一短板，通过向输入嵌入中注入位置信息，使模型能够感知序列的顺序结构。

一、为什么需要位置编码？

在传统循环神经网络（RNN）中，序列的顺序通过时间步的递归计算隐式传递，每个时间步的输入依赖于前一步的隐藏状态。而Transformer通过并行化的自注意力机制，打破了这种依赖关系，大幅提升了计算效率，但也导致模型无法直接感知位置信息。例如，将句子“猫追狗”和“狗追猫”输入未经位置编码的Transformer，模型可能无法区分两者的语义差异。

位置编码的核心目标是为每个位置的元素分配一个唯一的、可区分的向量，使得模型能够：

  1. 区分不同位置的元素：即使内容相同，位置不同也应被视为不同的输入；
  2. 捕捉相对位置关系：例如“A在B前两个位置”与“A在B前三个位置”应具有不同的编码；
  3. 保持序列长度的可扩展性：编码方式应能适应训练时未见过的更长序列。

二、绝对位置编码：正弦与余弦函数

1. 原始Transformer的编码方案

原始Transformer论文中提出了一种基于正弦和余弦函数的绝对位置编码（Absolute Positional Encoding），其公式如下：

[
\begin{aligned}
PE{(pos, 2i)} &= \sin\left(\frac{pos}{10000^{2i/d{\text{model}}}}\right) \
PE{(pos, 2i+1)} &= \cos\left(\frac{pos}{10000^{2i/d{\text{model}}}}\right)
\end{aligned}
]

其中：

  • (pos) 是元素在序列中的位置（从0开始）；
  • (i) 是维度索引（(0 \leq i < d_{\text{model}}/2)）；
  • (d_{\text{model}}) 是嵌入向量的维度。

这种编码方式通过不同频率的正弦/余弦波组合，为每个位置生成唯一的向量。其设计巧妙之处在于：

  • 相对位置的可推导性：任意两个位置的编码差可以通过线性变换表示相对位置；
  • 泛化性：对于未见过的更长序列，仍能生成合理的编码（尽管可能超出训练分布）。

2. 代码实现示例

以下是一个基于PyTorch的实现：

  1. import torch
  2. import math
  4. class PositionalEncoding(torch.nn.Module):
  5.     def __init__(self, d_model, max_len=5000):
  6.         super().__init__()
  7.         position = torch.arange(max_len).unsqueeze(1)
  8.         div_term = torch.exp(torch.arange(0, d_model, 2) * (-math.log(10000.0) / d_model))
  9.         pe = torch.zeros(max_len, d_model)
  10.         pe[:, 0::2] = torch.sin(position * div_term)
  11.         pe[:, 1::2] = torch.cos(position * div_term)
  12.         self.register_buffer('pe', pe)
  14.     def forward(self, x):
  15.         x = x + self.pe[:x.size(0)]
  16.         return x

3. 局限性

尽管正弦编码被广泛采用，但其也存在不足：

  • 绝对位置依赖：模型需通过训练学习绝对位置与语义的关联，对于长序列可能效果下降；
  • 频率固定：波长参数（如10000）是预设的，可能不适用于所有任务。

三、相对位置编码：动态计算的优势

1. 相对位置编码的动机

绝对位置编码假设位置信息是独立的，但实际任务中（如机器翻译），相对位置关系（如“主语-谓语”的距离）往往更重要。相对位置编码（Relative Positional Encoding）通过显式建模元素间的相对距离，提升了模型对局部结构的捕捉能力。

2. 典型实现：Transformer-XL的方案

Transformer-XL提出了一种相对位置编码方法，其核心思想是将自注意力中的查询-键计算拆分为内容相关和位置相关两部分：
[
A{i,j}^{\text{rel}} = \underbrace{E{xi}^T W_q^T W_k E{xj}}{\text{内容交互}} + \underbrace{E{x_i}^T W_q^T W{k,R} R{i-j}}{\text{查询与相对位置}} + \underbrace{u^T W{k,R} R{i-j}}{\text{全局位置偏置}} + \underbrace{v^T W_k E{xj}}{\text{键内容偏置}}
]
其中：

  • (R_{i-j}) 是相对位置的嵌入向量；
  • (W_{k,R}) 是位置相关的键变换矩阵。

3. 代码简化示例

以下是一个简化的相对位置编码计算逻辑：

  1. def relative_attention(query, key, rel_pos_emb):
  2.     # query: [batch, heads, seq_len, d_k]
  3.     # key: [batch, heads, seq_len, d_k]
  4.     # rel_pos_emb: [2*seq_len-1, d_k] (预计算相对位置嵌入)
  6.     batch, heads, seq_len, _ = query.shape
  7.     content_attn = torch.einsum('bhqd,bhkd->bhqk', query, key)  # 内容交互
  9.     # 计算相对位置索引（i-j的范围是-(seq_len-1)到seq_len-1）
  10.     pos_indices = torch.arange(seq_len).unsqueeze(0) - torch.arange(seq_len).unsqueeze(1)
  11.     pos_indices = pos_indices + seq_len - 1  # 映射到0~2*seq_len-2
  13.     # 获取相对位置嵌入
  14.     rel_attn = rel_pos_emb[pos_indices].permute(2, 0, 1, 3)  # [d_k, batch, seq_len, seq_len]
  15.     rel_attn = torch.einsum('dbhq,qdk->bhqk', query, rel_attn)  # 查询与相对位置交互
  17.     attn = content_attn + rel_attn
  18.     return attn

4. 优势与挑战

  • 优势：显式建模相对位置，对长序列更鲁棒；
  • 挑战：需预计算或动态生成相对位置嵌入，计算复杂度较高。

四、旋转位置编码（RoPE）：几何解释的新范式

1. RoPE的核心思想

旋转位置编码（Rotary Positional Embedding, RoPE）通过将位置信息编码到旋转矩阵中，实现了位置与内容的自然融合。其公式为：
[
\text{RoPE}(x_m, m) = \left( (x_m)_0 \cos(m\theta) - (x_m)_1 \sin(m\theta), (x_m)_0 \sin(m\theta) + (x_m)_1 \cos(m\theta), \dots \right)
]
其中：

  • (x_m) 是位置 (m) 的嵌入向量；
  • (\theta = 10000^{-2i/d}) 是维度 (i) 的旋转角度。

2. 几何解释

RoPE将每个维度的嵌入视为二维平面上的向量，通过旋转操作注入位置信息。这种设计使得：

  • 相对位置编码自然涌现：两个位置的点积仅依赖于它们的相对距离；
  • 外推性更强：在训练长度外的位置上表现更稳定。

3. 代码实现

以下是RoPE的PyTorch实现：

  1. class RotaryEmbedding(torch.nn.Module):
  2.     def __init__(self, dim, base=10000):
  3.         super().__init__()
  4.         inv_freq = 1.0 / (base ** (torch.arange(0, dim, 2).float() / dim))
  5.         self.register_buffer('inv_freq', inv_freq)
  7.     def forward(self, x, seq_len=None):
  8.         # x: [batch, seq_len, dim]
  9.         if seq_len is None:
  10.             seq_len = x.shape[1]
  11.         t = torch.arange(seq_len, device=x.device).type_as(self.inv_freq)
  12.         freqs = torch.einsum('i,j->ij', t, self.inv_freq)
  13.         emb = torch.cat([freqs, freqs], dim=-1)
  14.         return x * emb.cos()[:, None, :] + (torch.roll(x, shifts=1, dims=-1) * emb.sin()[:, None, :])

4. 应用场景

RoPE因其优秀的外推性和相对位置建模能力，已成为行业常见技术方案（如GPT系列、LLaMA等）的标配位置编码方案。

五、最佳实践与优化方向

  1. 任务适配：

    • 短序列任务（如文本分类）：正弦编码足够；
    • 长序列任务（如文档生成）：优先选择RoPE或相对位置编码。

  2. 超参数调优：

    • 正弦编码的基频（如10000）可通过网格搜索调整；
    • RoPE的基频可尝试更小的值（如10000000）以提升长序列性能。

  3. 计算效率：

    • 相对位置编码需权衡精度与速度，可通过截断相对距离（如仅考虑±k范围内的位置）降低计算量。

  4. 混合编码：

    • 结合绝对与相对编码（如Transformer-XL）可进一步提升性能。

六、总结

位置编码是Transformer模型感知序列顺序的关键组件，其设计需平衡表达能力、计算效率和泛化能力。从原始的正弦编码到动态的相对位置编码，再到几何解释清晰的RoPE，每种方案都有其适用场景。开发者在实际应用中，应根据任务特性、序列长度和计算资源综合选择，并通过实验验证效果。未来，随着模型规模的扩大和序列长度的增加，位置编码的优化仍将是Transformer架构演进的重要方向。

最新文章