构筑 AI 理论体系：深度学习 100 篇论文解读第二十篇增一：全局信息的统筹者—

构筑 AI 理论体系：深度学习 100 篇论文解读

第二十篇增一：全局信息的统筹者——GloVe (2014)

I. 论文背景：预测派 vs. 统计派 💡

在 2014 年左右，词向量建模分为两大阵营：

矩阵分解派（统计派）：利用整个语料库的词共现频率（如 LSA）。优点是利用了全局统计信息，但对词与词之间的语义类比（如“国王-男人=女王-女人”）效果较差。
浅层窗口派（预测派）：典型代表是 Word2Vec。优点是语义类比能力极强，但它每次只看滑动窗口里的那几个邻居词，完全忽略了语料库的全局分布规律。

Jeffrey Pennington及其团队提出的GloVe（Global Vectors for Word Representation），目标就是：我全都要。

核心作者介绍

作者	国籍	机构	核心贡献
Jeffrey Pennington	美国	Stanford University	论文第一作者，推导了共现概率比值与向量空间的关系。
Christopher Manning	美国	Stanford University	NLP 领域泰斗，将统计语言学与深度学习结合的领军人物。

信息项	详情
论文题目	GloVe: Global Vectors for Word Representation
发表年份	2014 年
出版刊物	EMNLP
核心命题	词向量的学习不应只靠局部窗口预测，而应该去拟合语料库中单词共现概率的比值（Ratio）。

II. 核心机制：共现矩阵与对数拟合 ⚙️

1. 全局共现矩阵 (X)

GloVe 的训练第一步不是读句子，而是数数。它会扫描全库，建立一张大表。

X_{ij} 表示单词 i 和单词 j 在整个语料库中共同出现的总次数。

2. 核心数学发现：共现概率的比值

GloVe 的天才之处在于发现：真正蕴含语义的不是概率本身，而是概率的比值。

假设我们要区分“冰（ice）”和“蒸汽（steam）”。
找一个词“固体（solid）”：它与“冰”共现概率高，与“蒸汽”低。比值 P(solid|ice) / P(solid|steam) 会非常大。
找一个词“气体（gas）”：这个比值会非常小。
找一个无关词“水（water）”：它们都相关，比值接近1。

3. 损失函数 (Loss Function)

GloVe 要求词向量 w_i 和 w_j 的点积，要能预测它们共现概率的对数差：

符号详细解释：
w_i^T \tilde{w}_j: 两个单词向量的点积（代表它们的相似度）。
b_i, \tilde{b}_j: 两个词的偏置项。
\log X_{ij}: 它们全局共现次数的对数值。
f(X_{ij}):权重函数。这是一个“公平秤”，如果两个词共现次数太多（如“the”和“a”），它会通过一个上限函数削弱其权重，避免大词主导模型。

III. 隐藏状态与维度的再次明确 🔢

是否有隐藏状态？
没有。GloVe 是一个非循环、非时序的模型。它不需要像 RNN 那样逐词处理。
维度是多少？
它是超参数（通常设为 50, 100, 200 或 300 维）。
维度代表了什么？
与 Word2Vec 一样，每个维度可以看作一个潜在的“特征槽位”。比如第 5 维可能捕捉到了“词性（动词 vs 名词）”，第 12 维捕捉到了“情感正负”。
数量如何确定？
GloVe 的参数数量由词表大小 (V)决定。如果你有 40 万个词，维度是 300，模型就是一张 400,000 \times 300 的静态查找表。