📚 模型结构论文目录索引

Transformer 及其他 LLM 模型的架构创新：残差连接、门控机制、跨层连接、替代架构 共计 6 篇分析笔记

---

一、残差与跨层连接机制

残差跨层连接概念的核心工作：残差连接的变体与跨层信息流动机制

#	论文	arXiv/发表	核心方向	分析笔记
1	Highway Transformer — 自门控增强自注意力	2004.08178 / ACL 2020	每层门控残差	Highway Transformer 技术分析
2	ResiDual — 双残差连接 Transformer	2304.14802 / 微软 2023	Pre-Post-LN 融合	ResiDual 技术分析
3	DeepNet — 1000 层极深 Transformer	2203.00555 / NeurIPS 2022	DEEPNORM 缩放残差	DeepNet 深度技术分析
4	DenseNet→Transformer — 密集跨层连接延伸	1608.06993 / CVPR 2017	DenseFormer 等工作	DenseNet 在 Transformer 中的延伸 分析

二、新型 LLM 架构

#	论文	arXiv/发表	核心方向	分析笔记
5	YOCO — Decoder-Decoder 架构，全程只缓存一次 KV	2405.05254 / 微软 2024	高效推理架构	YOCO 深度技术分析
6	Virtual Width Networks — 表征宽度与骨干宽度解耦	2511.11238 / ByteDance 2025	虚拟宽度缩放	Virtual Width Networks 深度技术分析

---

三、跨域关联

残差连接演化谱系

ResNet (2015) → DenseNet (2017) → Highway Transformer (2020)
                                      ↓
                                  DeepNet (2022) → 1000 层
                                      ↓
                                  ResiDual (2023) → Pre-Post-LN 融合
                                      ↓
                                  YOCO (2024) → Decoder-Decoder 架构创新

与训练/推理系统建模的交叉引用

• LLM训练系统深度综述 — YOCO/VWN 训练策略可以与传统并行策略对比
• GenZ 深度技术分析 — GenZ 支持 Mamba 等非 Transformer 架构的推理建模
• Roofline Model 技术分析 — VWN 的宽表征对硬件建模的影响

---

最后更新：2026-07-25 | 共计 6 篇分析笔记