一、论文概览
核心贡献
GenZ 是一个解析式（analytical）性能建模工具，系统性地研究 LLM 推理性能与 AI 平台硬件设计参数之间的关系：
- 全面的架构支持：Dense、Dense-GQA、MoE、Mamba 四种架构
- 推理优化覆盖：Flash Attention、Chunked Prefill、Speculative Decoding、量化、稀疏化、KV Cache 剪枝
- 分布式平台建模：TP/PP/EP/SP，任意拓扑多维互联网络
- 高精度验证：H100/A100/Gaudi2/MI300X/SN40L 验证，最大几何平均误差 5.82%
- 轻量级：~5000 行 Python，单次分析 ~30ms
二、GenZ 分析模型详解
RoofLine 算子级延迟估计
T_op = max( C_op / (FLOPS × Eff_C), M_op / (BW_mem × Eff_mem) )
- C_op：计算量（MAC 操作数 × 2）
- M_op：内存访问量（激活 + 权重 + 输出）
- Eff_C / Eff_mem：效率因子（从真实硬件 profiling 获得）
通信时间建模
支持 AllReduce（Ring）、All-to-All（EP）、MessagePass（PP）、AllGather（TP/SP）
支持的 LLM 架构
| 架构 | 关键特征 | 代表模型 |
|---|
| Dense | MHA, H 个注意力头 | GPT-3 (175B) |
| Dense-GQA | KV 头数 < H | LLaMA-3-70B (H=64, Hkv=8) |
| MoE | E 个专家, 每 token 激活 K 个 | Mixtral 8x7B, GPT-4, DeepSeek |
| Mamba | 选择性 SSM, 无 Attention | Falcon-Mamba-7B, Jamba |
支持的优化技术
Flash Attention、Chunked Prefill、Speculative Decoding、Beam Search、Quantization (FP8/INT4)、Weight Sparsity、KV Cache Pruning
三、验证与精度
| 验证项目 | 几何平均误差 |
|---|
| Prefill TTFT (LLaMA2-7B/13B, OPT-175B) | 2.73% |
| Decode 吞吐量 | 1.85% |
| Chunked Serving (2×A100, vLLM) | 1.43% |
| 跨架构 Serving (SN40L/MI300X/Gaudi2) | 5.82% |
| AllReduce (8×H100) | 3.89% / 2.7% |
最大整体几何平均误差：5.82%
跨平台效率因子
| 平台 | 效率因子 |
|---|
| V100 | 0.45 |
| A100 | 0.40 |
| 1×H100 | 0.55 |
| 8×H100 | 0.75 |
| SN40L (Sambanova) | 0.90 |
| MI300X (AMD) | 0.25 |
| Gaudi2 (Intel) | 0.60 |
四、关键洞察与趋势
1. Chunked Prefill
- Dense 模型：KV Cache 增长 → 内存带宽瓶颈
- GQA 模型：计算密集型 GEMM 是主要瓶颈（KV Cache 仅 6.25%）
2. Speculative Decoding
- N=16, γ=0.7 时吞吐量反而低于基线
- N=4, γ≥0.9 时有显著收益
- 草稿模型需额外 9.6-10.8% 权重内存和 28-40% KV Cache
3. MoE 并行策略
- Prefill 阶段：负载均衡时 EP 最优
- Decode 阶段：TP Only 或 TP+EP 混合优于纯 EP
- 最优/最差负载下 TPOT 差 3.5×
4. 四种架构对比 (7B 级别)
| 指标 | Dense | GQA | MoE | Mamba |
|---|
| Decode vs 上下文长度 | O(N²) | O(N) | O(N) | O(1) |
| 内存效率 | 低 | 中 | 高 | 高 |
5. 平台需求
- KV Cache 大小：LLaMA2-7B 占激活权重的 82%，GPT-4 仅 2.8%
- 计算需求由 Prefill TTFT SLO 驱动
- 内存带宽需求由 Decode TPOT SLO 驱动
6. 四种平台架构对比
- SRAM Wafer（模型可放入时）能效最优
- GPU 在大模型 decode/chunked 场景下综合最优
- ASIC（Transformer-only）在超大模型 prefill 潜力巨大
7. HBD 设计空间
- HBD=64 + 光互联 scale-out → 以适中成本达到全 SL 配置相近性能
五、与 LLM-Emu 的对比
| 维度 | LLM-Emu | GenZ |
|---|
| 建模方法 | 数据驱动的仿真（Profile-driven） | 解析式 Roofline 模型 |
| 目标 | 快速预测性能指标 | 设计空间探索 + 趋势分析 |
| 精度 | TTFT <10%, TPOT <5% | 5.82% 几何平均误差 |
| 可解释性 | 中等 | 高（算子级 Roofline） |
| 硬件参数化 | 有限（依赖采集数据） | 完整（FLOPS/BW/拓扑） |
| 核心代码 | ~1.7K LoC + 170 行补丁 | ~5K LoC |
GenZ 的不可替代性：
- 可回答”如果内存带宽增加 10% 会怎样”等假设性问题
- 可轻松添加新模型架构和硬件配置
- 可独立缩放每个硬件参数精准定位瓶颈
- ~30ms 前向传播适合大规模设计空间探索
六、优点与局限性
优点
- 全面性：覆盖最广泛的架构和优化技术
- 高精度：5.82% 几何平均误差
- 极速评估：~30ms/前向传播
- 灵活性：TP/PP/EP/SP 任意组合
- 多级内存建模：HBM + DRAM 卸载
局限性
- 抽象层次较粗（效率因子抽象微架构细节）
- 效率因子依赖硬件 profiling
- 假设算子无相互依赖（max 而非 overlap）
- Batching 模型较简化（聚合式批次处理，非连续 batching）
- 不支持 Fine-tuning/Training
相关笔记