知识图谱表示学习评估：hit@10与mean rank的深度解析

1. 从一次模型评估翻车说起：为什么hit@10和mean rank值得单独拎出来讲

刚接触知识图谱表示学习那会儿，我犯过一个现在想起来都脸红的错误。当时用TransE在一个自建的小规模图谱上跑完训练，看loss曲线降得挺漂亮，就兴冲冲地把模型交给下游做链接预测。结果下游反馈说效果很差，我还不服气，回去把训练集上的三元组拿来测，命中率高得离谱。问题出在哪？我把评估指标用错了——用训练集评估、用错误的分割方式算hit@10、mean rank的排序口径也没对齐。那次翻车让我意识到，知识图谱表示学习里，模型结构（TransE、TransD、TransR）只是半壁江山，另一半全在评价指标的理解和实现上。

这篇内容就是围绕这个痛点展开的。我会把TransE、TransD、TransR这几个经典翻译模型的评估环节彻底拆开讲清楚：hit@10到底在数什么、mean rank为什么容易被个别样本带偏、filtered和raw两种设置差在哪、为什么同一份预测结果换个口径指标能差出一大截。适合正在做链接预测、三元组分类，或者要给自己的表示学习模型写评估脚本的读者。不管你是刚跑通第一个TransE demo的新手，还是已经在调TransR复杂度的老手，评估这块的坑大概率都踩过或者即将踩到。

先把结论性的东西摆前面：hit@10衡量的是"正确答案有没有挤进前10名"，mean rank衡量的是"正确答案平均排在第几位"。听起来简单，但魔鬼全在细节里。下面我按"指标定义→计算口径→模型差异→实操复现→踩坑排查"的顺序，一层层往下剥。

2. hit@10与mean rank到底在数什么：把排序问题翻译成人话

2.1 链接预测任务的本质是一个排序问题

要理解这两个指标，得先回到它们服务的任务本身。知识图谱表示学习的经典评估任务是链接预测：给定一个不完整的三元组，比如（张三，就职于，？），让模型从全部实体里挑出最可能的答案。模型对每个候选实体打一个分数，然后按分数排序。评估指标衡量的就是这个排序结果的质量，而不是模型输出的绝对分数值。

这里有个容易被忽略的点：TransE这类翻译模型打出的分数是距离（或者负距离），分数越小表示越可能。而有些实现里用的是相似度，越大越可能。方向搞反了，hit@10会直接变成"hit@倒数10"，指标惨不忍睹但你还以为是模型不行。我见过至少三个同学栽在这个符号问题上。

具体到计算流程，对测试集里的每一个三元组（h, r, t），评估时通常做两件事：

• 替换头实体：固定r和t，把h换成图谱里每一个实体，得到一堆候选，看正确头实体排第几。
• 替换尾实体：固定h和r，把t换成每一个实体，看正确尾实体排第几。

每个测试三元组会产生两个排名（头排名和尾排名），所有测试三元组的排名汇总起来，才算得出hit@10和mean rank。

2.2 hit@10：命中率视角的"够用就好"

hit@10的定义非常直白：在所有测试样本中，正确实体的排名落在前10的比例。公式上就是命中数除以总样本数。

它的好处是对极端排名不敏感。假设某个样本正确答案排第1，另一个排第500，只要都在前10之外，对hit@10的贡献都是0；反过来只要进了前10，排第1和排第10贡献一样。这种"截断"特性让hit@10特别适合衡量实际可用性——在很多下游应用里，你只需要模型给出top候选让业务方去筛，排第3还是第8差别不大，但排到100名开外就没法用了。

hit@10通常还会配套hit@1和hit@3一起看。hit@1反映模型的"精准命中"能力，hit@10反映"召回兜底"能力。如果hit@1很低但hit@10很高，说明模型知道正确答案大概在附近，但排序不够锐利；如果hit@10本身就很低，那基本是表示空间没学好或者评估口径出了问题。

2.3 mean rank：平均排名视角的"整体位置感"

mean rank是所有测试样本正确实体排名的算术平均值。它比hit@10更"细腻"，因为它用到了排名的具体数值，而不只是是否进前10。

但mean rank有个致命弱点：对异常值极其敏感。假设1000个测试样本里，999个正确答案都排第1，只有1个排第10000，mean rank就是(999×1 + 10000)/1000 ≈ 11。这个数字看起来还行，但实际上模型在999个样本上表现完美，只在一个样本上崩了。反过来，如果模型整体排名都在50左右，mean rank是50，看起来比11差，但实际分布更稳定。

正因为这个特性，学术界后来普遍改用MRR（Mean Reciprocal Rank，平均倒数排名）或者直接看hit@10，因为倒数排名对高排名的奖励更平滑，异常值影响被压缩。不过mean rank作为经典指标仍然被大量论文引用，所以你必须懂它，但用的时候要留个心眼。

2.4 两个指标放在一起看才有意义

单独看任何一个指标都可能被误导。我的习惯是hit@1、hit@3、hit@10、mean rank四个一起报，再配一个排名分布的直方图。这样能看出模型到底是"整体靠前但不够尖"还是"大部分不错但偶尔崩盘"。

举个我实际遇到的对比：两个TransE变体，A的hit@10是0.82、mean rank是45，B的hit@10是0.79、mean rank是28。单看hit@10，A更好；单看mean rank，B更好。把排名分布画出来才发现，A的排名集中在1-5和200-500两个区间（双峰），B的排名集中在10-40（单峰）。A在简单样本上极强，在难样本上崩得厉害；B更均衡。这种信息，只有两个指标加分布图才能看出来。

3. filtered与raw：一个设置让指标天差地别的关键分歧

3.1 raw设置下那些"冤枉"的高排名

原始版本的评估（raw setting）有个很反直觉的问题。假设测试三元组是（张三，就职于，某公司），在替换尾实体时，图谱里可能还存在（张三，就职于，另一家公司）这个真实存在的三元组。模型把"另一家公司"排在第一位，把"某公司"排在第二位，按raw口径，正确排名是2。但问题是，"另一家公司"也是对的啊，模型没犯错，却被当成了错误答案来惩罚。

这就是raw设置的核心缺陷：它把图谱中真实存在但不在当前测试三元组里的答案，当成了干扰项。图谱越稠密、实体关系越丰富，这种"冤枉"就越多，指标被压得越低。在小规模图谱上这个问题不明显，一旦图谱有几十万实体，raw指标会低到让你怀疑人生。

3.2 filtered设置：把已知正确答案从候选里剔除

filtered设置就是来解决这个问题的。在给某个测试三元组排序之前，先把图谱中所有已知为真的候选实体从排名列表里删掉，只保留那些"未知真假"的候选。这样模型排第几，就是它在真正需要判断的候选里的位置。

还是上面的例子，filtered设置下，"另一家公司"被剔除，模型在剩余候选里给"某公司"排第1，正确排名就是1。这个口径更符合链接预测的实际语义：我们想知道的是模型能不能把正确答案从"未知"里挑出来，而不是从"已知正确"里挑出来。

3.3 两种口径的实测差距与选择建议

我在一个中等规模图谱（约4万实体、20万三元组）上做过对比，同一个TransE模型：

差距非常明显，hit@10差了22个百分点，mean rank差了一倍多。所以看论文或者对比模型时，第一件事就是确认它报的是filtered还是raw。如果一篇论文报raw、另一篇报filtered，直接比数字毫无意义。

我的建议很明确：做研究和对比，一律用filtered，这是当前的主流标准。raw指标只在你想了解模型在"完全开放"环境下的表现时才用，而且要在报告里写清楚。另外要注意，filtered的实现需要预先构建"每个（头，关系）对应的已知尾实体集合"和"每个（关系，尾）对应的已知头实体集合"，这个索引构建如果写错，指标会悄悄出错但不报异常，非常隐蔽。

提示：filtered设置下，如果某个测试三元组的正确答案在剔除后候选集为空（极端情况），需要特殊处理，通常直接跳过该样本或按排名1计。不同实现的处理方式不一致，跨实现对比时要留意。

4. TransE、TransD、TransR在评估环节的差异化表现

4.1 三个模型的核心机制差异决定了指标画像

TransE把关系和实体都映射到同一个空间，用h + r ≈ t的平移假设建模。它的优点是参数少、训练快，缺点是处理一对多、多对一、多对多关系时力不从心。反映到指标上，TransE在1-to-1关系上hit@10通常很高，但在N-to-1关系上会明显掉。

TransD引入了实体投影向量和关系投影向量，为每个实体和关系分别学习一个投影矩阵，把实体投影到关系相关的子空间再做平移。它相当于给TransE加了一层"动态适配"，在复杂关系上指标更稳。实测中TransD相比TransE，hit@10通常能提升3-8个百分点，mean rank改善更明显，因为它在难样本上的排名不再那么离谱。

TransR走得更远，为每个关系单独学一个投影矩阵，把实体从实体空间投影到关系空间。它的表达能力最强，但参数量也最大，训练慢、容易过拟合。在小图谱上TransR的hit@10可能反而不如TransD，因为过拟合导致泛化差；在大图谱上TransR的优势才体现出来。

4.2 用指标反推模型选择

这里有个实用的经验：看mean rank和hit@10的比值。如果hit@10高但mean rank也高，说明模型在多数样本上能进前10，但少数样本排名极差，典型的是TransE在复杂关系上的表现。如果hit@10和mean rank都改善，说明模型整体排序质量提升，TransD和TransR通常属于这类。

我整理过一个粗略的选型参考：

注意这个表是经验性的，不是铁律。最终还是要用你的数据跑一遍，看filtered hit@10和mean rank的实际分布。我见过TransR在某些领域图谱上被TransD反超的情况，原因就是关系类型虽然多但每种关系的样本量太少，TransR的投影矩阵学不好。

4.3 负采样策略对指标的隐性影响

评估指标虽然是在测试集上算的，但训练时的负采样策略会深刻影响指标的"性格"。TransE原始论文用的是"随机替换头或尾"的均匀负采样，这会导致模型对高频实体过度惩罚。后来常用的做法是伯努利负采样：根据关系的头尾实体分布，决定替换头还是尾的概率，让负样本更"难"更合理。

这个策略不改变评估公式，但会改变模型学到的表示，进而改变hit@10和mean rank。我在同一个TransE上对比过：均匀负采样的hit@10是0.58，伯努利负采样能到0.64，mean rank从210降到165。所以当你对比两个模型的指标时，要确认它们的负采样策略是否一致，否则可能把负采样的功劳算到模型结构头上。

5. 手写评估脚本：从预测分数到hit@10和mean rank的完整链路

5.1 评估前的数据准备与索引构建

自己写评估脚本，第一步不是算指标，而是把测试集和图谱的索引对齐。我习惯用三个字典：

• entity2id：实体到连续id的映射
• relation2id：关系到连续id的映射
• true_triples：一个集合，存所有已知为真的三元组（训练+验证+测试）

true_triples是filtered评估的关键。构建它的时候要注意：验证集和测试集的三元组也要加进去，因为它们在评估时都属于"已知为真"。很多人只加了训练集，导致filtered不彻底，指标偏低。

# 构建filtered索引的示意 true_triples = set() for h, r, t in train_triples + valid_triples + test_triples: true_triples.add((h, r, t)) # 为每个(h, r)构建已知尾实体集合，为每个(r, t)构建已知头实体集合 hr_to_tails = {} rt_to_heads = {} for h, r, t in true_triples: hr_to_tails.setdefault((h, r), set()).add(t) rt_to_heads.setdefault((r, t), set()).add(h)

这个索引构建看起来简单，但如果图谱里有重复三元组或者id映射有冲突，会静默出错。我的习惯是构建完后打印几个统计量：len(true_triples)、len(hr_to_tails)、平均每个(h,r)对应的尾实体数，跟原始数据对一下，确认没漏没重。

5.2 逐样本计算排名的核心逻辑

对每个测试三元组，分别做头替换和尾替换。以尾替换为例：

def evaluate_tail(model, h, r, t, all_entities, hr_to_tails): scores = [] for e in all_entities: score = model.score(h, r, e) # 距离越小越好 scores.append((e, score)) # 按分数升序排（距离小在前） scores.sort(key=lambda x: x[1]) # filtered：剔除已知为真的其他尾实体 filtered = [(e, s) for e, s in scores if e == t or (h, r, e) not in true_triples] # 找正确实体的排名 for rank, (e, s) in enumerate(filtered, start=1): if e == t: return rank return len(filtered) # 理论上不会走到这

这里有几个细节决定成败。排序方向：TransE输出距离，升序；如果模型输出相似度，要降序。filtered的剔除条件：保留正确实体本身，剔除其他已知为真的实体。排名从1开始还是从0开始：学术界惯例从1开始，但有些代码从0开始，差1看起来小，在hit@1上就是天壤之别。

头替换的逻辑对称，把(h, r, t)换成(e, r, t)，用rt_to_heads做filtered。每个测试三元组得到两个排名，都存进列表。

5.3 从排名列表到最终指标

拿到所有排名后，计算就简单了：

def compute_metrics(ranks): hit1 = sum(1 for r in ranks if r <= 1) / len(ranks) hit3 = sum(1 for r in ranks if r <= 3) / len(ranks) hit10 = sum(1 for r in ranks if r <= 10) / len(ranks) mean_rank = sum(ranks) / len(ranks) mrr = sum(1.0 / r for r in ranks) / len(ranks) return hit1, hit3, hit10, mean_rank, mrr

注意hit@10的边界：是r <= 10还是r < 10？标准是<= 10，即排名第10也算命中。这个边界在排名恰好是10的样本多的时候会影响结果，虽然通常影响不大，但跨实现对比时要统一。

另外，mean rank要不要在filtered后重新计算？要。filtered不仅影响hit，也影响mean rank，因为剔除候选后排名会前移。我见过有人hit用filtered、mean rank用raw，报出来的数字自相矛盾。

5.4 一个完整的评估流程示例

把上面的片段串起来，一个最小可用的评估流程是：

1. 加载模型和id映射
2. 构建true_triples和两个filtered索引
3. 遍历测试集，对每个三元组算头排名和尾排名
4. 汇总所有排名，计算hit@1/3/10、mean rank、MRR
5. 打印排名分布的分位数（如25%、50%、75%、90%），辅助判断

第5步是我强烈建议加的。只看均值容易被骗，分位数能告诉你排名的真实分布。如果90%分位数是8，说明90%的样本都进了前10，hit@10至少0.9；如果90%分位数是500，那hit@10肯定很难看。

6. 那些年我在指标上踩过的坑与排查链路

6.1 指标异常时的系统排查顺序

当hit@10低得离谱或者mean rank大得反常时，不要急着改模型，按下面的顺序排查：

1. 确认排序方向：打印几个样本的分数和排名，看正确实体的分数是不是"应该靠前"的那个方向。方向反了，hit@10会接近0。
2. 确认filtered索引：随机抽几个测试三元组，手动检查hr_to_tails里是否包含了应该被剔除的实体。漏了会导致指标偏低，多了（把正确实体也剔了）会导致排名算错。
3. 确认测试集没混入训练集：如果测试三元组在训练集里出现过，模型可能"背答案"，指标虚高。反过来如果测试集构建有误，指标虚低。
4. 确认实体全集：替换时用的候选实体集合应该是全部实体，不是测试集里出现的实体。用错了候选集，排名会偏乐观。
5. 确认排名起始值：从0开始还是从1开始，统一口径。

这个顺序是我踩坑踩出来的。有一次排查了一下午，最后发现是第1步的排序方向问题——模型输出的是相似度，我按升序排了，hit@10只有0.03，改过来直接0.61。

6.2 一个真实的排查案例：hit@10正常但mean rank爆炸

有次评估TransE，hit@10是0.65看起来正常，但mean rank高达2000多。按经验，hit@10 0.65的模型mean rank通常在100-300之间。这个矛盾说明有少量样本的排名极端大。

我把排名列表排序，看最大的几个值，发现有几个样本的排名接近实体总数（4万）。单独看这几个样本，发现它们的正确实体在模型里的表示向量几乎是零向量或者异常大的值。追查下去，是训练时这几个实体出现次数极少（长尾实体），表示没学好。这不是评估的错，是模型在长尾上的真实短板。

这个案例的启示是：mean rank爆炸时，先看排名分布的长尾，再决定是修评估还是修模型。如果是评估口径问题，长尾不会那么极端；如果是模型问题，长尾会集中在特定类型的实体或关系上。

6.3 跨论文对比指标时的三个陷阱

读论文对比指标时，我总结过三个高频陷阱：

• filtered vs raw不统一：前面讲过，差距巨大。
• 测试集划分方式不同：有的论文用随机划分，有的用按时间划分，有的用按关系划分。划分方式不同，难度不同，指标不可比。
• 负采样和评估的实体集不同：有的实现评估时只用了测试集里出现过的实体作为候选，这会让指标虚高。标准做法是用全部实体。

我的做法是，看到一篇论文的指标，先找它的评估设置章节，确认这三点，再决定要不要信这个数字。如果论文没写清楚，那这个指标基本没法用于对比。

6.4 提升指标的几个实操方向

如果你的模型hit@10不理想，除了换模型结构，还有几个低成本的方向：

• 调负采样比例：负样本太多会让模型学得保守，太少会学得激进。我通常从1:1开始试，逐步加到1:5、1:10。
• 加正则：TransE的表示容易发散，加L2正则通常能提升mean rank。
• 调维度：实体和关系维度不是越大越好。小图谱上50-100维往往比200维好，因为过拟合。
• 用filtered评估指导训练：训练过程中定期在验证集上算filtered hit@10，早停策略基于这个指标而不是loss。loss降但hit@10不升，说明过拟合了。

这些方向我都实测过，负采样比例和正则的影响往往比换模型结构还大。所以别一上来就上TransR，先把TransE的评估和训练细节调好，baseline可能就够用了。

7. 写在最后的一点个人体会

评估指标这东西，看起来是"算个数"，实际上是对整个任务理解的浓缩。hit@10和mean rank的每一个细节——排序方向、filtered口径、排名起始值、候选实体集——背后都是对"链接预测到底在预测什么"的回答。我见过太多人模型结构调得很花哨，评估却用错口径，最后报出来的数字自己都解释不清。

我的建议是，先把评估脚本写对、写透，再回头调模型。一个正确的filtered hit@10和mean rank，比十个花哨的模型结构更能告诉你问题在哪。另外，别迷信单一指标，hit@1、hit@10、mean rank、MRR、排名分布，能一起看就一起看。指标之间的矛盾，往往就是下一个优化方向的入口。

最后分享一个小习惯：每次评估完，我会随机抽10个测试样本，把它们的候选排名前5打印出来，人工看一眼。这个动作花不了几分钟，但能抓到很多自动指标抓不到的诡异问题，比如某个关系下的实体全被排到了后面、某个高频实体霸占了所有top位置。机器算指标，人看样本，两者结合才靠谱。