模型内部原理与“错误叠加/自圆其说”的四大根因
当大模型在生成早期出现微小偏差时,后续输出非但不能自发纠偏,反而会生成一系列虚假论据去合理化早期错误(学术界称为Hallucination Snowballing,幻觉滚雪球,Zhang et al., ICML 2024)。其底层根因
1. 架构根因:因果掩码的单向不可逆性与 KV Cache 锚点固化
- 内部原理:自回归 Transformer 依赖下三角因果注意力掩码(Causal Attention Mask),每生成一个 Tokenx t x_tx