用 C++ 加标准库从零实现 GPT-2 124M 的完整解码器——堆叠 Block、因果掩码、输出投影、KV cache——加载 OpenAI 真实预训练权重跑推理，与 HuggingFace 逐位置对拍 logits 到 1e-2。核心判断：这件事的工程量九成不在 Transformer 数学里，而在权重文件的约定里（Conv1D 转置存储、GELU 的 tanh 近似、方差的统计口径、字节级 BPE 的映射层）；“输出通顺”是最会骗人的验收标准，装错的实现照样生成流畅英文。全程对读 llm.c、OpenAI 原版 model.py、HF transformers 与 ggml 四份参考实现的源码。适合读者：想亲手跑通一个真实大模型的 C++ 架构师，以及想知道推理器底层每个约定从哪来的大模型工程师。
通顺的英文是这个项目里最廉价的产物
把 GPT-2 某个 768×768 的投影矩阵转置装反，模型不会崩，也不会吐乱码。它会继续输出语法正确、拼写无误、读起来像模像样的英文，只是意思飘忽、上下文接不住。把 GELU 的 tanh 近似换成“数学上更精确”的 erf 版本，输出同样通顺。把因果掩码加在 softmax 之后而非之前，还是通顺。
这三种错我都见过，两种是我自己写出来的。
通顺为什么这么廉价？因为解码器的输出端结构性地消灭了“乱码”这个最直观的失败信号。logits 是隐状态与词嵌入矩阵每一行的内积，softmax 只在 50257 个真实 token 上归一化——不管中间算得多错，采样出来的永远是词表里的真词、真子词。而“哪些词经常挨着出现”这类表层统计，大量冗余地分布在嵌入和浅层权重里，几个矩阵装反远不足以摧毁它。于是一个错误的实现，生成的文本足以骗过写它
