推荐系统FM系列：AFM模型深度解析与实践

2025年12月17日 互联网

推荐系统FM系列：AFM模型深度解析与实践

一、AFM模型背景与核心问题

在推荐系统领域，因子分解机（Factorization Machine, FM）通过引入特征交叉项解决了线性模型（如LR）无法捕捉高阶交互的缺陷。然而，传统FM模型对所有交叉特征的权重分配是隐式的、无区别的，这导致两个问题：

  1. 噪声特征干扰：低质量或无关的交叉特征可能削弱模型表达能力；
  2. 权重分配模糊：无法区分不同交叉特征对最终预测的贡献度。

基于此，注意力因子分解机（Attentional Factorization Machine, AFM）通过引入注意力机制，动态学习交叉特征的权重，实现了更精细的特征交互建模。

二、AFM模型架构详解

1. 模型输入与嵌入层

AFM的输入层与传统FM一致，包含用户特征（如年龄、性别）、物品特征（如类别、价格）及上下文特征（如时间、地点）。通过嵌入层（Embedding Layer），将稀疏的离散特征映射为低维稠密向量：

  1. import torch
  2. import torch.nn as nn
  4. class EmbeddingLayer(nn.Module):
  5.     def __init__(self, field_dims, embed_dim):
  6.         super().__init__()
  7.         self.embeddings = nn.ModuleList([
  8.             nn.Embedding(dim, embed_dim) for dim in field_dims
  9.         ])
  11.     def forward(self, x):
  12.         # x: [batch_size, num_fields]
  13.         embeds = [emb(x[:, i]) for i, emb in enumerate(self.embeddings)]
  14.         return torch.stack(embeds, dim=1)  # [batch_size, num_fields, embed_dim]

2. 特征交叉与注意力机制

AFM的核心创新在于注意力网络（Attention Network），其流程如下：

  1. 交叉特征生成：通过逐元素乘积（Element-wise Product）生成所有二阶交叉特征： 
    1. v_i ⊙ v_j = [v_i[1]*v_j[1], v_i[2]*v_j[2], ..., v_i[k]*v_j[k]]

  2. 注意力权重计算：对每个交叉特征，通过多层感知机（MLP）计算其注意力分数：

    1. class AttentionLayer(nn.Module):
    2.     def __init__(self, embed_dim, attn_dim):
    3.         super().__init__()
    4.         self.fc = nn.Sequential(
    5.             nn.Linear(embed_dim, attn_dim),
    6.             nn.ReLU(),
    7.             nn.Linear(attn_dim, 1)
    8.         )
    10.     def forward(self, x):
    11.         # x: [num_pairs, embed_dim]
    12.         attn_scores = self.fc(x).squeeze(-1)  # [num_pairs]
    13.         attn_weights = torch.softmax(attn_scores, dim=0)
    14.         return attn_weights
  3. 加权求和：根据注意力权重对交叉特征进行聚合： 
    1. \hat{y}_{AFM} = w_0 + \sum_{i=1}^n w_i x_i + \sum_{i=1}^n \sum_{j=i+1}^n a_{ij} (v_i ⊙ v_j) x_i x_j

3. 输出层与损失函数

AFM的输出层为线性变换，结合交叉熵损失（分类任务）或MSE损失（回归任务）进行优化：

  1. class AFM(nn.Module):
  2.     def __init__(self, field_dims, embed_dim, attn_dim):
  3.         super().__init__()
  4.         self.embedding = EmbeddingLayer(field_dims, embed_dim)
  5.         self.attn = AttentionLayer(embed_dim, attn_dim)
  6.         self.fc = nn.Linear(embed_dim, 1)
  8.     def forward(self, x):
  9.         # x: [batch_size, num_fields]
  10.         embeds = self.embedding(x)  # [batch_size, num_fields, embed_dim]
  12.         # 生成交叉特征对
  13.         pairs = []
  14.         for i in range(embeds.size(1)):
  15.             for j in range(i+1, embeds.size(1)):
  16.                 pairs.append((embeds[:, i], embeds[:, j]))
  17.         cross_terms = [e1 * e2 for e1, e2 in pairs]  # 逐元素乘积
  18.         cross_terms = torch.stack(cross_terms, dim=1)  # [batch_size, num_pairs, embed_dim]
  20.         # 计算注意力权重并聚合
  21.         batch_size, num_pairs, _ = cross_terms.size()
  22.         attn_weights = self.attn(cross_terms.view(-1, _))  # [batch_size*num_pairs, 1]
  23.         attn_weights = attn_weights.view(batch_size, num_pairs)  # [batch_size, num_pairs]
  24.         weighted_sum = torch.sum(cross_terms * attn_weights.unsqueeze(-1), dim=1)  # [batch_size, embed_dim]
  26.         # 输出预测
  27.         return self.fc(weighted_sum).squeeze(-1)

三、AFM模型优势与适用场景

1. 核心优势

  • 动态权重分配：通过注意力机制区分重要交叉特征，提升模型解释性；
  • 计算效率优化：相比高阶FM（如HOFM），AFM仅需二阶交叉，显著降低计算复杂度；
  • 泛化能力增强：在数据稀疏场景下，注意力机制可自动抑制无效交叉特征。

2. 适用场景

  • 稀疏数据推荐：如广告点击率预测（CTR）、内容推荐；
  • 特征交互显著：用户-物品交叉特征对预测目标影响大的场景；
  • 实时性要求高：需快速响应的在线推荐系统。

四、工程实践与优化建议

1. 参数调优

  • 嵌入维度（embed_dim）：通常设为16～64，过大会导致过拟合；
  • 注意力网络维度（attn_dim）：建议为嵌入维度的1/2～1/4；
  • 正则化策略：对嵌入层和注意力网络权重添加L2正则化。

2. 性能优化

  • 特征交叉加速：使用向量化操作替代循环生成交叉特征；
  • 批处理优化：通过torch.bmm实现批量注意力权重计算；
  • 模型压缩：对嵌入层进行量化或低秩分解。

3. 部署注意事项

  • 输入预处理：确保特征字段对齐，避免缺失值；
  • 实时推理优化：将嵌入层和注意力网络合并为单次前向传播；
  • 监控指标：跟踪注意力权重的分布，检测异常交叉特征。

五、对比与扩展方向

1. 与传统FM的对比

特性 FM AFM
交叉权重 隐式均匀分配 显式动态分配
计算复杂度 O(k·n²) O(k·n² + d·n²)
解释性 弱 强（可输出特征重要性）

2. 扩展方向

  • 高阶AFM：结合Deep & Cross Network（DCN）实现三阶以上交叉；
  • 图注意力AFM：引入图神经网络（GNN）建模特征间的结构关系；
  • 多模态AFM：融合文本、图像等非结构化特征的交叉。

六、总结与展望

AFM模型通过注意力机制革新了传统FM的特征交互方式，在推荐系统领域展现出显著优势。其核心价值在于动态权重分配和计算效率平衡，尤其适用于稀疏数据场景。未来，随着多模态学习和图神经网络的发展，AFM有望进一步拓展至更复杂的推荐任务中。开发者在实践时需重点关注特征工程、注意力网络设计及部署优化，以充分发挥模型潜力。

最新文章