 of Ignorance: LLMs Know \(\bolds\(\boldsymbol{y}\)mbol{\(\boldsymbol{W)
# The Geometr\(\boldsymbol{y}\) of Ignorance: LLMs Know \(\bolds\(\boldsymbol{y}\)mbol{\(\boldsymbol{W}\)}\)hen to Temper Ba\(\boldsymbol{y}\)esian Priors（arXiv:2609.02959）
> 论文链接：https://arxiv.org/abs/2609.02959
## 一、文章主要内容
本文从**输出解嵌入（unembedding）矩阵的几何结构**角度，研究大语言模型在上下文信息不足时的预测行为。
1. 作者发现解嵌入矩阵中存在一个特殊向量方向，命名为**无知方向（direction of ignorance）**，该方向编码训练语料的一元词（unigram）分布；当模型缺少上下文线索时，会退回到这个贝叶斯先验进行预测。该结构在 Llama、Qwen、Gemma、P\(\boldsymbol{y}\)thia 四大模型家族（0.4B‑405B参数）中普遍存在。
2. 将最终预测隐状态投影到该方向，得到**先验加载因子 $\lambda$**。实证发现：上下文信息越充分，$\lambda$ 数值持续下降；上下文越模糊、信息越少，$\lambda$ 升高，模型更多依赖一元词先验。$\lambda$ 反映模型对先验的依赖程度，和上下文信息量强相关，**不单纯取决于token数量**。
3. 通过几何分解，预测隐状态可以拆分为正交两部分：先验分量（带指数$\lambda$的一元先验）+上下文似然分量，对应**调温贝叶斯更新（tempered Ba\(\boldsymbol{y}\)esian update）**，建立几何结构与概率推理的对应关系，$\lambda$
