GPT

Decoder-only 架构与 GPT 家族：从单向预测到大语言模型时代 在学习 BERT 时，我们看到 Transformer 的 Encoder 可以通过双向注意力充分理解上下文，从而完成分类、标注、匹配等任务。但如果把视线转向今天最主流的大语言模型，会发现另一条路线取得了压倒性成功：只保留 Decoder 的 Decoder-only 架构。这一路线的代表就是 GPT 家族。 从表面上看，Decoder-only 似乎比完整的 Encoder-Decoder 更“残缺”：它没有 Encoder，也没有 Cross-Attention，只能从左到右地看前文。但正是这种看似简单的结构，配合大规模数据、大规模算力和“预测下一个 Token”的训练目标，最终催生出了具备强大生成、推理和上下文学习能力的大语言模型。 本文将系统梳理 Decoder-only 架构的设计动机、GPT 的训练方式、从 GPT-1 到 GPT-3 的范式变化，以及现代大模型中常见的工程与结构改进，包括稀疏注意力、MoE、SwiGLU、RMSNorm、GQA/MQA 等。对于学习过程中常见的疑问，例如“GPT 是不是只是更大的工程堆叠”“预测下一个 Token 的损失函数如何定义”“为什么 GPT 可以不做微调”“In-context Learning 是否有理论依据”“MoE 的专家是不是预先训练好的”等，也会自然地融入正文解释中。 一、为什么 GPT 选择 Decoder-only 1. Encoder 与 Decoder 的分工 完整 Transformer 包含两部分： Encoder：擅长理解输入序列。它的 Self-Attention 通常允许每个位置同时看到左右上下文，因此可以构建双向语义表示。 Decoder：擅长生成输出序列。它通过 Causal Mask 限制每个位置只能看到自己之前的位置，从而保证生成过程符合从左到右的顺序。 因此，Encoder 更像是一个“阅读理解器”，Decoder 更像是一个“逐字写作器”。 BERT 选择了 Encoder 路线，通过完形填空任务学习双向语义表示。GPT 则选择了 Decoder 路线，通过不断预测下一个词元来学习语言生成能力。 ...