推荐系统中CTR排序模型汇总：从经典到前沿的演进之路

在推荐系统领域，CTR（Click-Through Rate）预估作为排序阶段的核心任务，直接影响用户点击行为与平台收益。过去十年间，CTR模型经历了从线性模型到深度学习、从特征交叉到自动化建模的技术跃迁。本文系统梳理十种代表性模型（LR、GBDT、FM、FFM、MLR、Deep&Wide、Deep&Cross、DeepFM、XDeepFM、PN），分析其技术原理、适用场景及演进逻辑。

一、线性模型时代：LR与GBDT的工程实践

1. 逻辑回归（LR）

作为CTR预估的基石模型，LR通过线性组合特征与Sigmoid激活函数实现二分类。其优势在于模型透明度高、训练效率快，适合大规模分布式计算。例如，早期广告系统通过人工特征工程（如用户画像、上下文特征）构建稀疏特征向量，配合L1正则化实现特征选择。但LR的局限性在于无法捕捉特征间的非线性关系，需依赖交叉特征工程。

实践建议：

适用于特征维度较低、解释性要求高的场景
结合GBDT进行特征转换（如Facebook的GBDT+LR方案）
使用FTRL等在线学习算法应对数据流更新

2. 梯度提升决策树（GBDT）

GBDT通过多棵回归树的加法模型实现特征自动选择与组合。其优势在于能处理混合类型特征（连续/离散），且对异常值鲁棒。例如，XGBoost通过二阶导数优化与正则化项，在工业界成为特征提取的标配工具。但GBDT的串行计算特性限制了其在大规模数据下的实时性。

典型应用：

作为特征编码器与深度模型结合
处理高基数类别特征（如用户ID）
竞赛场景中的特征工程基线

二、特征交叉革命：FM与FFM的显式建模

3. 因子分解机（FM）

FM通过隐向量内积实现二阶特征交叉，解决了矩阵分解无法处理稀疏数据的痛点。其核心公式为：
$ \hat{y} (x) = w < e m > 0 + \sum < / e m > {i = 1}^{n} w < e m > i x_{i} + \sum < / e m > {i = 1}^{n} \sum_{j = i + 1}^{n} ⟨ v_{i}, v_{j} ⟩ x_{i} x_{j} \hat{y}(x) = w0 + \sum{i=1}^n wi x_i + \sum{i=1}^n \sum_{j=i+1}^n \langle v_i, v_j \rangle x_i x_j $
其中$v_i \in \mathbb{R}^k$为特征i的隐向量。相比LR，FM在数据稀疏时仍能学习有效交叉，但计算复杂度为$O(kn^2)$。

优化方向：

使用FFM（Field-aware FM）区分不同字段的隐向量
结合FTRL实现在线更新
通过核函数扩展高阶交叉（如HOFM）

4. 字段感知因子分解机（FFM）

FFM在FM基础上引入字段（Field）概念，每个特征针对不同字段维护独立隐向量。例如，用户性别与物品类别的交叉使用不同隐空间，公式为：
$ \hat{y} (x) = \sum < e m > {i = 1}^{n} \sum < / e m > {j = i + 1}^{n} ⟨ v < e m > i, f_{j}, v < / e m > j, f_{i} ⟩ x_{i} x_{j} \hat{y}(x) = \sum{i=1}^n \sum{j=i+1}^n \langle v{i,f_j}, v{j,f_i} \rangle x_i x_j $
其中$f_i$为特征i所属字段。FFM在Criteo数据集上相比FM提升3%-5%，但内存消耗增加k倍。

工程挑战：

特征字段划分需领域知识
训练时间较FM增长显著
适合特征字段明确的广告场景

三、深度学习突破：从Wide&Deep到自动化交叉

5. 混合架构（Deep&Wide）

Google提出的Deep&Wide模型通过Wide部分（LR+交叉特征）处理记忆（Memorization），Deep部分（DNN）处理泛化（Generalization）。其结构为：
$ P (Y = 1 ∣ x) = σ (W < e m > {w i d e}^{T} [x, ϕ (x)] + W < / e m > {d e e p}^{T} a^{(l_{f})} + b) P(Y=1|x) = \sigma(W{wide}^T [x, \phi(x)] + W{deep}^T a^{(l_f)} + b) $
其中$\phi(x)$为人工交叉特征，$a^{(l_f)}$为DNN最后一层输出。该模型在App推荐中AUC提升3%，但Wide部分仍需特征工程。

实现要点：

Wide部分使用FTRL优化
Deep部分采用ReLU激活与BatchNorm
联合训练时需平衡两部分梯度

6. 显式交叉网络（Deep&Cross）

Deep&Cross通过Cross Network递归生成高阶交叉特征，公式为：
$ x_{k + 1} = x_{0} x_{k}^{T} W_{k} + b_{k} + x_{k} x_{k+1} = x_0 x_k^T W_k + b_k + x_k $
其中$x_0$为输入特征，$x_k$为第k层输出。相比DNN的隐式交叉，Cross Network以$O(d)$参数实现$O(L)$阶交叉（L为层数），在电影推荐中AUC提升1.5%。

对比分析：

与DeepFM相比，Cross Network参数更少
适合特征维度中等的场景
需注意过拟合问题（可加入Dropout）

四、统一框架时代：DeepFM与XDeepFM的进化

7. 深度因子分解机（DeepFM）

DeepFM将FM与DNN结合，共享输入特征与Embedding层。其结构分为两部分：

FM部分：显式二阶交叉
Deep部分：隐式高阶交叉

数学表示为：
$ \hat{y} (x) = σ (W < e m > {F M}^{T} a < / e m > F M + W < e m > {D N N}^{T} a < / e m > D N N + b) \hat{y}(x) = \sigma(W{FM}^T a{FM} + W{DNN}^T a{DNN} + b) $
其中$a{FM}$为FM输出，$a{DNN}$为DNN最后一层。在Criteo数据集上，DeepFM相比FM提升0.8% AUC，且无需特征工程。

部署优势：

端到端训练，减少人工干预
适合特征稀疏的场景
可通过GPU加速训练

8. 压缩交互网络（XDeepFM）

XDeepFM提出CIN（Compressed Interaction Network）层，通过外积与卷积实现显式高阶交叉。其核心操作为：
$ X < e m > k + 1 = \sum < / e m > {i = 1}^{H < e m > k} w < / e m > k, i \circ (X_{0} < e m > X_{k}^{i}) < / e m > X{k+1} = \sum{i=1}^{Hk} w{k,i} \circ (X_0 X_k^i) $
其中$$表示外积，$\circ$表示逐元素乘积。CIN层参数随阶数线性增长，但通过通道数控制复杂度。在Avazu数据集上，XDeepFM相比DeepFM提升0.3% AUC。

适用场景：

需要显式高阶交叉的金融风控
特征维度较高的电商推荐
计算资源充足的离线训练

五、前沿方向：路径网络与自动化建模

9. 路径网络（PN）

PN（Path Network）通过构建特征交互路径实现自动化交叉。其核心思想是将特征视为节点，交叉操作视为边，通过强化学习搜索最优路径。例如，AutoInt通过自注意力机制实现特征交互，公式为：
$ e_{i j} = \frac{(W_{q} x_{i})^{T} (W_{k} x_{j})}{\sqrt{d}} e_{ij} = \frac{(W_q x_i)^T (W_k x_j)}{\sqrt{d}} $
其中$W_q, W_k$为查询/键矩阵。PN类模型在特征交互复杂度上接近XDeepFM，但无需手动设计网络结构。

研究趋势：

结合神经架构搜索（NAS）
探索稀疏交互结构
降低模型推理延迟

六、模型选型与工程实践

10. 选型决策树

模型类型	优势	局限	适用场景
LR/GBDT	解释性强，训练快	无法自动交叉	冷启动、特征维度低
FM/FFM	显式二阶交叉	计算复杂度高	广告点击预估、推荐排序
Deep&Wide	记忆与泛化平衡	Wide部分需特征工程	电商推荐、内容分发
DeepFM/XDeepFM	端到端训练，显式高阶交叉	计算资源消耗大	金融风控、精准营销
PN类模型	自动化特征交互	训练不稳定，超参敏感	特征空间复杂、需要快速迭代的场景

11. 实践建议

数据规模：小数据（<10M）优先LR/GBDT，大数据（>100M）考虑深度模型
特征类型：高基数类别特征用GBDT/FFM，连续特征用DNN
实时性要求：在线服务优先DeepFM，离线分析可尝试XDeepFM
解释性需求：结合SHAP值分析深度模型决策路径
AB测试：新模型上线前需与基线模型进行显著性检验

七、未来展望

随着预训练模型（如BERT4Rec）与图神经网络（GNN）的融入，CTR模型正从特征工程转向结构化数据建模。例如，美团提出的DHEN（Dynamic Hypergraph Enhanced Network）通过动态超图捕捉用户行为序列中的高阶关系，在到家业务中提升点击率12%。未来，模型将更注重多模态融合（如图像+文本+行为）、实时反馈机制（如强化学习）与隐私计算（如联邦学习）的结合。

结语：CTR排序模型的发展史，本质是特征表示与交互建模的不断突破。从LR的手工特征到PN的自动化交叉，技术演进始终围绕“如何更高效地捕捉用户兴趣”这一核心命题。对于从业者而言，理解模型背后的设计哲学，比单纯追新更为重要。

推荐系统CTR排序模型全解析：从经典到前沿