SUN 来源：B站视频《面试官问：为什么现在的通用大模型几乎清一色采用了Decoder-only（纯解码器）架构？》 链接：https://b23.tv/Fmez1YU
背景
Transformer 模型最初包含 Encoder 和 Decoder 两个部分：
- Encoder：双向注意力，能看到整个序列（上文 + 下文）
- Decoder：单向注意力（因果注意力），只能看到当前位置之前的信息（因为有 mask 机制）
现代大模型（GPT 系列、Claude 等）普遍采用 Decoder-only 架构。
核心原因
1. 理论优势 — 避免低秩问题 ⭐
- Encoder 的双向注意力容易出现低秩问题，削弱模型表达能力
- Decoder-only 的注意力矩阵是下三角矩阵，必然满秩，表达能力更强
- 在生成任务中表现更优
2. 训练效率高
- 简化的训练目标：纯粹的"下一步词预测"（next token prediction）
- 减少参数量和计算复杂度
- 单向注意力机制使并行处理更容易
- 无需设计复杂的编码-解码交互
3. 推理速度快
- 只需生成输出序列，无需对输入进行编码
- 注意力计算呈三角形，可通过 KV 缓存提升速度
- 只有一套模型参数，扩展性更好
4. 数据适配性强
- 互联网文本本质上是单向的，完美契合预测任务
- 可直接用原始数据进行自监督学习，无需人工标注
- Encoder-Decoder 通常需要"输入-输出"对，成本高
5. 涌现能力更强
- 大参数量 + 大数据训练下，表现出更强涌现能力
- Zero-shot / Few-shot 性能更好
- 上下文学习（In-context Learning）和思维链（CoT）能力更强
6. 统一的任务范式
- 所有任务都视为"生成任务"
- 翻译、问答、写作统一建模为"上文 → 下文"生成
- 在少样本学习等复杂任务中表现更好
7. 工程实现友好
- 结构简单，训练、优化、部署更容易
- 减少内存占用（不需要像 Encoder-Decoder 那样填充 padding）
- 硬件友好，适合大规模部署
面试要点总结
Decoder-only 架构是综合权衡后的最优选择：
| 优势 | 说明 |
|---|---|
| 理论上避免低秩问题 | 注意力矩阵满秩，表达能力更强 |
| 训练和推理效率高 | 单向注意力，KV 缓存加速 |
| 与海量无标注数据完美契合 | 自监督学习，无需标注 |
| 涌现能力和 Zero-shot 性能优异 | 大规模训练后表现突出 |
| 工程实现简单、硬件友好 | 结构简洁，易于部署 |
关键对比：
| 架构 | 代表模型 | 适用场景 |
|---|---|---|
| Encoder-only | BERT | 理解任务（分类、NER 等） |
| Decoder-only | GPT 系列 | 生成任务，大模型时代主流 |
| Encoder-Decoder | T5、BART | 需要成对数据，翻译/摘要等 |