推荐系统性能建模综述

推荐系统性能建模与仿真深度技术综述

涵盖 12 篇论文/工具 | 时间跨度：2019 – 2025

一、领域背景

推荐系统（RecSys）与 NLP/CV 模型有本质不同的算力特征：

维度	LLM（参考）	推荐系统
核心瓶颈	显存带宽（decode） / 计算（prefill）	Embedding 查找 + 稀疏特征交互
典型规模	数十亿参数，500K+ vocab	TB 级 Embedding 表（10⁶-10¹² 特征）
计算模式	密集矩阵乘法 (GEMM)	稀疏+密集混合：Embedding bag + MLP
硬件瓶颈	GPU HBM → 带宽受限	CPU-GPU 传输 + GPU 内存容量
主要成本	单次推理 ~10ms-1s	单次推理 ~10-50ms（严格 SLO）
数据集	Wiki/CommonCrawl (GB)	TB-PB 级用户行为日志

推荐系统推理/训练面临的核心挑战：

1. 巨大的 Embedding 表：Facebook DLRM 的 Embedding 可达数百 GB-TB，无法完全放入 GPU HBM
2. 稀疏访问模式：每个请求只访问 Embedding 表的极小一部分，缓存友好度低
3. 严格的延迟 SLO：在线推荐服务通常要求 P99 <50ms
4. CPU-GPU 数据传输瓶颈：PCIe 带宽成为关键瓶颈

---

二、领域分类

┌────────────────────────────────────────────────────────────┐
│              推荐系统性能研究分类                            │
├────────────────────────────────────────────────────────────┤
│                                                             │
│  模型架构        训练系统             推理服务           硬件加速 │
│  ───────         ────────           ────────           ──────── │
│  DLRM (Fb)       HugeCTR (NV)       MicroRec (ETH)    RecNMP    │
│  DeepFM          PerfModel DLRM     TensorFlow Rec    FAT Cache │
│  Wide&Deep       Sparse Parallel    TorchRec (Meta)    FPGA/DSA  │
│                                                             │
└────────────────────────────────────────────────────────────┘

---

三、各方向深度分析

3.1 推荐模型架构与基准

#	论文	arXiv	年份	核心贡献	分析笔记
1	DLRM (Facebook)	1906.00091	2019	推荐的深度模型架构标准，特征交互+MLP	DLRM 技术分析
2	Performance Benchmarking	2406.17335	2024	轻量化 Embedding RecSys 的全面性能基准	RecSys 性能基准分析

3.2 训练系统性能建模

#	论文	arXiv	年份	核心贡献	分析笔记
3	Performance Model for DLRM	2201.07821	2022	GPU DLRM 训练的解析式性能模型（首个）	DLRM 训练性能模型分析
4	2D Sparse Parallelism	2508.03854	2025	二维稀疏并行，优化 Emb+MLP 混合训练	2D 稀疏并行分析
5	Merlin HugeCTR	2210.08803	2022	NVIDIA GPU 加速 RecSys 训练推理框架	Merlin HugeCTR 分析

3.3 推理服务优化

#	论文	发表	年份	核心贡献	分析笔记
6	MicroRec	2010.05894	2020	RecSys 推理硬件+数据结构联合优化，ETH	MicroRec 分析
7	TorchRec	Meta开源	2022	PyTorch RecSys 训练推理库，Embedding sharding 集成	TorchRec 分析

3.4 Embedding 模型优化

#	技术	机构	核心思路
8	Embedding Sharding	Meta	按 table/row/column/哈希分片到多 GPU
9	Embedding Cache	多机构	GPU 缓存热门 Embedding，CPU 存冷数据
10	Embedding Compression (PQ)	多机构	量化和乘积量化压缩 Embedding
11	RecNMP	ISCA 2020	Embedding 查找的 CXL-based 内存扩展
12	FAT Cache	多机构	FPGA-assisted embedding table 缓存

---

四、技术方法详解

4.1 DLRM：标准推荐模型架构

DLRM 定义了三层架构：

1. Bottom MLP：处理密集数值特征（连续值 → 稠密向量）
2. Embedding Table：稀疏类别特征的 embedding lookup
3. Feature Interaction：用 dot product 处理特征间交叉
4. Top MLP：最终分类/回归输出

关键性能参数：

参数	典型值	影响
Embedding Table 数量	10-100+	内存容量
Embedding Dimension	64-256	Embedding 操作的 FLOPs
Embedding 字典大小	10⁶-10¹²	内存容量 + 访问模式
Bottom/Top MLP 层数	3-8	计算负载

4.2 DLRM 训练性能模型 (2201.07821)

这篇论文是首个为 DLRM 训练构建解析式性能模型的工作。核心洞察：

DLRM 训练 = Emb Lookup（显存带宽瓶颈） + MLP（计算瓶颈） + Emb Interaction（计算瓶颈）

性能模型公式：

T_train = T_emb + T_mlp + T_interact

• T_emb：由 Embedding 表的 size × 访问密度 / HBM 带宽决定
• T_mlp：由 GEMM 的 FLOPs / GPU 峰值算力决定
• T_interact：特征交互 dot product 的 FLOPs 决定

关键发现：

• DLRM 相比 BERT/GPT 更依赖显存带宽而非计算
• Embedding lookup 仅占 ~20-30% FLOPs 但可占 70%+ 延迟
• 随着 batch size 增大，Embedding 的全局带宽压力呈超线性增长

预测目标	误差
前向时间	<15%
反向时间	<20%
端到端迭代	<10%
吞吐量	<8%

局限：

• 仅建模单 GPU 训练，未覆盖多 GPU 的通信开销
• 未包含更复杂的新架构（如 Transformer-based RecSys）

4.3 MicroRec：推理加速的硬件-数据结构联合设计 (2010.05894)

核心洞察：推荐推理的两个主要瓶颈：

1. Embedding 的稀疏访问导致内存层次结构利用率低
2. 特征交互的点积计算导致 GPU warp 利用率低

解决方案：

优化	方法	加速比
Micro-Embedding	将嵌入表组织为 micro 子表，按访问频率排序	1.5-2×
Micro-Interaction	将点积批处理为 WMMA/TensorCore 操作	2-3×
Codebook Cache	高频嵌入的 codebook 索引替代全维度	1.5×

总效果：在 RecSys benchmark 上加速 2-5×，内存缩减 3×。

4.4 Merlin HugeCTR (2210.08803)

NVIDIA 的 RecSys 加速框架：

组件	功能
Embedding Training	GPU 端 Embedding 分片 + 多 GPU All2All 通信
MLP Training	使用 cuBLAS/TensorCore 加速 MLP 训练
Inference Pipeline	TensorRT 级联优化 + Triton Inference Server 部署
Model Parallelism	Embedding 按 table/row 分到多 GPU

训练吞吐：相比 CPU baseline 提升 40-60×。

---

五、当前局限与未来方向

局限性

1. 缺乏推理系统仿真器：与 LLM 推理（Vidur, LLMServingSim）不同，RecSys 推理缺乏高精度、可配置的仿真框架
2. Embedding 性能模型不成熟：现有模型仅覆盖训练场景（2201.07821），未覆盖推理在线场景
3. 稀疏 + 密集混合建模困难：Embedding 的稀疏访问模式难以用 RoofLine 类简单模型描述
4. 与新架构脱节：Transformer-based RecSys（如 BST、DIN）的性能特征与传统 DLRM 大不相同

未来方向

1. RecSys Serving Simulator：类似 Vidur 但面向 RecSys 的端到端推理仿真框架
2. CXL/Processing-in-Memory (PIM)：针对 Embedding 表的新硬件的性能建模
3. GPU-CPU 异构性能模型：建模 CPU 端 Embedding + GPU 端 MLP 的联合推理
4. RecSys 训练的精度-性能权衡：低精度 Embedding (INT4/FP8) 对推荐质量的影响建模

---

六、关键统计

指标	值
已分析论文	7 篇
已识别待分析	5+ 篇
典型 GPU	V100/A100/H100
关键 GPU 瓶颈	HBM 容量 (Embedding 查表)
典型 SLO	P50 <30ms, P99 <50ms

相关笔记

• LLM推理系统深度综述 — 对比 LLM 推理与 RecSys 推理的性能建模方法
• 芯片性能建模与仿真深度综述 — 底层硬件建模方法