GraphMAE图自监督预训练：特征重建、掩码策略与调参实践

自监督预训练在文本和图像领域早就是标配了，但挪到图上，事情就变得别扭。我在几个节点分类任务里试过把图上的自监督方法轮着跑一遍，最直观的感受是：那些依赖“重建邻接矩阵”的方案，在下游任务上的表现经常和随机初始化打平，有些甚至更差。GraphMAE 是我用下来少数几个能在普通配置下稳定超过监督基线的生成式方案，它把“重建什么”和“怎么算损失”这两件事重新想了一遍。如果你手上有节点特征、边关系，标注样本又少得可怜，想靠无标注数据把表示学好；或者你已经写过 GCN、GAT 之类的监督模型，想加一层预训练看看能不能涨点；再或者你在做推荐、风控、生物分子这类天然带图结构的业务，这篇的内容应该能直接拿去用。下面我按“为什么这么设计—怎么实现—参数怎么定—哪里会翻车”的顺序，把 GraphMAE 拆开讲。

1. GraphMAE 想解决的问题到底是什么

1.1 图上的自监督为什么一直不太行

要理解 GraphMAE 的价值，得先说清楚图自监督在此之前卡在哪里。图数据天生有两种信息：节点自身的属性特征，以及节点之间的连接结构。这两种信息互相纠缠——一个节点的特征往往由它的邻居决定，邻居的分布又反过来影响特征的传播方式。自监督的目标是设计一个不需要标签的代理任务，让模型在完成这个任务的过程中被迫学到有用的结构感知表示。文本和图像上的做法已经很成熟了，掩码语言模型遮住一部分词让模型猜，图像上遮住一块区域让模型补，这两种做法本质都是“重建被破坏的输入”。

图上学这套就出了岔子。最早一批工作把 BERT 那套搬过来，做法是遮住一部分节点，然后让模型同时重建被遮节点的特征和它与邻居的边。看起来合理，实际训练时你很快会发现，模型会找到一条捷径：因为邻接矩阵里稀疏位置远远多于非零位置，模型只要倾向于预测“没有边”，就能拿到很高的准确率，完全不学习任何有用的东西。这就是业内常说的类别不平衡陷阱。另一条路是预测式的，拿两个同构图的不同增广视图互相对比，让正样本对靠近、负样本对远离。这条路线效果好一些，但代价是增广策略得人工设计，而且对节点特征的质量极其敏感。

我在一个只有三千多节点的属性图上做过对比，同一套编码器，用重建邻接矩阵的方式预训练，下游节点分类的准确率比随机初始化低了将近两个点。这个结果当时挺打击人的，后来才想明白：问题不在编码器，在于代理任务给出的监督信号太弱、太容易被噪声主导。

1.2 重建结构这条路走不通的根子在哪

深挖一下，重建邻接矩阵失败的原因不是“擦除”这个动作有问题，而是擦除的对象选错了。边是离散的、极稀疏的，一个节点平均只有几个邻居，而候选邻居可能有成千上万个。让模型去重建这样一个高度不平衡的离散目标，损失的绝大部分梯度都花在“把这个位置预测成 0”上，真正需要学习的信息被稀释掉了。

特征就完全是另一回事。节点特征通常是连续的稠密向量（词袋、嵌入、统计量），重建一个稠密向量是一个回归问题，损失函数给出的梯度分布均匀得多。更关键的一点是，在有属性的图上，一个节点的特征本身就隐含了它的邻域信息——同一个圈子里的节点，特征分布往往有相似性。这意味着，如果模型想准确还原被遮掉的节点特征，它唯一的办法就是去邻居那里“借”信息，而“从邻居借信息”恰恰就是图神经网络最核心的消息传递机制。换句话说，重建特征这个代理任务天然地把模型逼向学习结构感知表示，不需要额外加约束。

这个洞察是 GraphMAE 整套设计的支点。它把监督目标从结构切换到特征，一举绕开了离散稀疏目标带来的不平衡问题，同时保持了对结构信息的隐式依赖。我第一次看到这个思路时的反应是：早该有人这么干。但真正让它跑起来的还不止这一点，后面还有两个同样重要的改造。

1.3 GraphMAE 的整体骨架与三个改造点

GraphMAE 名字里的 MAE 借用了图像领域掩码自编码器的命名，整体框架也确实遵循“掩码—编码—解码—重建”的流程。输入是特征矩阵和邻接矩阵，先随机挑一批节点把它们的特征向量置零，用这个残缺矩阵跑多层图神经网络编码器，得到隐表示，再用解码器把被遮节点的原始特征还原出来，最后算重建损失、反向传播。整个预训练阶段完全不碰标签。

但真正让它在众多重建类方法里脱颖而出的，是三个具体的设计决定，我觉得这也是读者最该反复琢磨的地方。第一个是掩码策略——只遮特征、不动边。这个选择很反直觉，因为直觉上遮边才能强迫模型学结构。第二个是解码器的结构被刻意做得极简，甚至只用一层前馈网络。第三个是损失函数从常规的均方误差换成了带幂次惩罚的余弦误差。这三个点每一个都有明确的设计动机，不是随口定的超参数。

我在下面会逐个拆开讲，包括每个选择背后的原理、如果反着做会出现什么现象，以及在自己的数据上怎么验证这个设计是不是仍然成立。

2. 方法拆解：三个决定成败的设计

2.1 掩码只遮特征不遮边，为什么反而让模型更懂结构

乍一看这是最不合理的地方。自监督的目标是学结构，那掩码的时候当然应该把边遮掉，逼模型去预测边的存在。GraphMAE 反其道而行，邻接矩阵原封不动，只把节点的特征清掉。这个反直觉的选择，逻辑其实很严密。

想象一下这个过程：节点 A 的特征被置零了，但 A 与 B、C、D 的连接都还在。编码器要做消息传递，A 这一层拿到的聚合结果完全来自 B、C、D。如果 B、C、D 和 A 属于同一个社区，它们的特征会有某种共同的模式，编码器就能据此给 A 构造出一个接近真实的表示。反过来，如果模型完全不理解结构，只是把 A 的邻居当噪声平均，重建出来的向量就会差得很远。所以掩码特征、保留结构，实际上是把“理解邻居”变成了完成任务的必要条件，结构信息以一种隐式约束的方式被强行注入到了表示里。

如果遮边呢？模型面对的是断裂的图，它得去猜哪两个节点应该连在一起。这个任务在稀疏图上信号极弱，而且会让编码器把注意力放在拓扑的局部模式上，反而忽略了特征分布的相似性。在我的实验里，遮边版本训练损失下降得很慢，预训练结束时隐表示的同质性偏高，下游任务涨点微弱。改成只遮特征之后，同样的编码器、同样的训练轮数，下游准确率提升了两个多点。所以这个设计不是拍脑袋，是权衡了监督信号质量之后的结果。

2.2 解码器越简单越好，这个反常识的选择有明确依据

第二个让人意外的地方是解码器的复杂度。掩码自编码器这类框架里，编码器和解码器通常是对称的，编码多深解码就多深。GraphMAE 把解码器压缩到极致，只有一个简单的多层前馈网络，甚至在某些配置下退化成单层线性变换，完全没有图卷积、没有任何消息传递。

这个“架构不对称”是有讲究的。如果解码器也很强，具备完整的图结构建模能力，那它就有可能绕开编码器，自己直接从保留的结构和没被遮的节点特征里推算出被遮的内容。这样一来，编码器学到的表示并不是完成任务的关键，它的参数就不会被充分优化，预训练的效果打了折扣。这在自监督领域是个经典问题，叫“解码器过强导致表示学习的退化”。

把解码器做弱，等于给任务加了一个瓶颈：编码器必须输出足够信息量、足够干净的表示，弱解码器才能还原出原始特征。这就把学习压力全部压在了编码器上，正是我们想要的结果。我实测的感受是，把解码器从两层图卷积换成一层前馈网络，预训练损失会下降得慢一些，但下游线性探测的准确率反而高了一到两个点。这个现象很有说服力——预训练损失低不等于表示好。

不过要注意，解码器也不能弱到完全无法拟合。如果你的节点特征维度特别高（比如几万维的稀疏词袋），单层线性解码可能容量不足，训练损失一直下不去，这时候加到两层前馈是合理的。我的经验阈值是：如果预训练最后一轮的损失还在明显下降，说明解码器容量不够；如果损失早早收敛且数值很低，但下游没涨，说明解码器太强了。

2.3 余弦距离加幂次惩罚，把注意力放在难样本上

损失函数这部分改动最容易被低估。常规做法是均方误差，逐元素算差平方再求和。GraphMAE 换成了余弦距离，也就是看两个向量的方向是否一致，完全忽略模长，然后再套一个幂次。

先说服为什么不用均方误差。节点特征各个维度的尺度经常差异巨大，有些维度是计数值可能到几百，有些是归一化后的概率值在零到一之间。均方误差会被大尺度维度主导，模型优化时会把精力放在拟合那些数值大的维度上，小尺度维度即使完全预测错了也不会有多少惩罚。余弦距离先把向量投影到单位球面上，只看方向，天然免疫尺度问题。这在特征预处理不一致的真实数据上尤其重要。

再说那个幂次。设余弦相似度为 c，损失就是 (1-c) 的 γ 次方，实践中 γ 一般取 3 左右。当 c 接近 1 的时候，1-c 很小，三次方之后几乎为零，说明容易样本（已经重建得不错的节点）几乎不产生梯度。当 c 接近 0 甚至为负，1-c 接近 1 或更大，三次方之后惩罚被显著放大。这个机制的效果是把训练注意力自动集中到那些还没学好的难节点上，类似焦点损失的思想。γ 越大，这种聚焦效应越强，但过大可能导致训练不稳定，因为少数几个极难样本会主导整个梯度。

还有一个细节容易被忽略：余弦距离对符号敏感。如果你的原始特征是词频、计数这类非负值，而解码器输出的向量有正有负，那么方向可能对得很准但符号错了，重建出来的东西在语义上是无效的。所以实践中通常在解码器输出后接一个 ReLU 再做归一化，保证输出和原始特征在同一个非负锥里。这个细节不加，损失曲线看起来正常，但表示质量会莫名下降，属于很隐蔽的坑。

2.4 re-mask 机制：堵住信息泄漏的后门

还有一个经常被略过但很关键的机制。编码器输出隐表示之后，理论上被遮节点自身的原始特征已经完全不在了，但隐表示毕竟是从整张图算出来的，被遮节点在多层消息传递过程中可能间接把自己的信息“漏”给了相邻的其他被遮节点，导致重建任务变得太简单。

GraphMAE 的处理是在解码之前，对被遮节点的隐表示再做一次随机掩码，把其中一部分也置零，然后再送进解码器。这样就切断了隐表示层面的信息通路，被二次遮掉的节点只能靠更远的邻域信息和整体结构来完成重建，任务难度被重新拉起来。论文里的做法是对已经选中的那批被遮节点再采一个子集，比例通常设成一半左右。

我一开始觉得这一步有点多余，直到做了一组消融：去掉 re-mask 之后，预训练损失下降得更快，但下游线性探测准确率掉了将近一个点。原因是模型确实走了捷径，把表示学得过于局部化，泛化能力变差。加上这个机制之后损失曲线没那么漂亮，但下游表现更扎实。这个经验说明，在自监督里，“训练任务更难”往往等价于“表示更好”，别被损失曲线骗了。

3. 从零搭一个能跑的最小实现

3.1 环境与数据结构约定

动手之前先把约定说清楚，不然代码贴出来容易对不上。我们用深度学习框架加上它常用的图神经网络扩展库，输入是一张属性图，包含三样东西：节点特征矩阵x（形状是节点数乘以特征维度，浮点型）、边索引edge_index（形状是 2 乘以边数，整型，无向图两个方向都要写进去，也就是每条边存两次）、以及下游才用的节点标签y。

预处理上有两件事必须做。第一件是特征归一化，我一般用按行的 L2 归一化，把每个节点的特征向量拉到单位长度。这一步和后面的余弦损失是配套的，不做的话初始阶段损失会非常不稳定。第二件是特征里的全零行要处理掉，孤立节点或者没有任何属性的节点，其特征全为零，归一化之后还是零，参与余弦计算会把梯度带偏。我的做法是保留但记录一个布尔掩码，在算损失时把它们排除掉。

下面这段是环境初始化和掩码函数的实现，掩码逻辑很简单，随机排列节点索引，取前一部分置零。

import torch import torch.nn.functional as F def normalize_features(x): # 按行 L2 归一化，零向量保持为零 norm = x.norm(p=2, dim=-1, keepdim=True).clamp(min=1e-8) return x / norm def random_mask_nodes(num_nodes, mask_ratio, device): perm = torch.randperm(num_nodes, device=device) num_mask = max(1, int(num_nodes * mask_ratio)) return perm[:num_mask] def apply_feature_mask(x, mask_nodes): x_masked = x.clone() x_masked[mask_nodes] = 0.0 return x_masked

这里有个小选择：被遮的位置填零还是填一个可学习的向量。零是 GraphMAE 的默认做法，实现最简单，也不会引入额外参数。可学习掩码向量在某些特征维度很高、且零向量本身在数据分布中有意义的情况（比如特征里零代表“缺失”而不是“没有”）下会更合适，因为它能和真实零值区分开。我一般先用零，如果发现模型对缺失特征的判断能力很差，再换成可学习向量试试。

3.2 编码器与解码器的具体写法

编码器选图同构网络结构，这个选择在节点级任务上比较稳，表达能力强于普通图卷积，参数又不算多。两层是通用起点，第一层输入维度是原始特征维度，之后都是隐藏维度。每层后面接批归一化、激活、dropout，这套组合在图上几乎是标配，缺了哪一样都可能让训练发散。

import torch.nn as nn from torch_geometric.nn import GINConv class GINEncoder(nn.Module): def __init__(self, in_dim, hid_dim, num_layers=2, dropout=0.2): super().__init__() self.convs = nn.ModuleList() self.norms = nn.ModuleList() for i in range(num_layers): in_d = in_dim if i == 0 else hid_dim mlp = nn.Sequential( nn.Linear(in_d, hid_dim), nn.ReLU(), nn.Linear(hid_dim, hid_dim), ) self.convs.append(GINConv(mlp, train_eps=True)) self.norms.append(nn.BatchNorm1d(hid_dim)) self.dropout = dropout def forward(self, x, edge_index): for conv, norm in zip(self.convs, self.norms): x = conv(x, edge_index) x = norm(x) x = F.relu(x) x = F.dropout(x, p=self.dropout, training=self.training) return x

解码器就一行前馈加激活，输出前接 ReLU 保证非负，这是前面提到的符号问题。

class MLPDecoder(nn.Module): def __init__(self, hid_dim, out_dim): super().__init__() self.net = nn.Sequential( nn.Linear(hid_dim, hid_dim), nn.PReLU(), nn.Linear(hid_dim, out_dim), ) def forward(self, z): return F.relu(self.net(z))

注意train_eps=True这个参数，它让每个节点保留一部分自身信息，对重建任务有正向作用，因为被遮节点的隐表示虽然主要来自邻居，还是需要一个可调的自身分量。不加的话，被遮节点在第一层的表示完全等于邻居聚合，表达能力会受限。

3.3 损失函数与训练循环的完整拼装

损失函数是整个实现里最需要小心的地方，把余弦相似度、幂次、归一化顺序都写对。

def sce_loss(x_true, x_pred, gamma=3.0, eps=1e-8): # 两个向量先各自归一化，再算余弦 x_true = F.normalize(x_true, p=2, dim=-1, eps=eps) x_pred = F.normalize(x_pred, p=2, dim=-1, eps=eps) cos = (x_true * x_pred).sum(dim=-1) loss = (1.0 - cos).clamp(min=0.0).pow(gamma) return loss.mean()

那个clamp(min=0.0)不能省。数值误差可能导致余弦相似度略微超过 1，此时 1 减余弦是负数，取三次方就变成负损失，梯度方向会整个反转，表现为训练损失突然跳成负值然后一路发散。这个坑我在第一次实现时踩过，排查了大半天才定位到。

训练循环要把主损失和 re-mask 损失拼起来。

def train_one_epoch(encoder, decoder, x, edge_index, optimizer, mask_ratio=0.5, remask_ratio=0.5, gamma=3.0, alpha=0.1): encoder.train(); decoder.train() n = x.size(0) mask_nodes = random_mask_nodes(n, mask_ratio, x.device) x_masked = apply_feature_mask(x, mask_nodes) z = encoder(x_masked, edge_index) # 主重建损失 pred = decoder(z[mask_nodes]) loss_main = sce_loss(x[mask_nodes], pred, gamma=gamma) # re-mask 分支 num_remask = max(1, int(len(mask_nodes) * remask_ratio)) sub_idx = torch.randperm(len(mask_nodes), device=x.device)[:num_remask] remask_nodes = mask_nodes[sub_idx] z_remask = z.clone() z_remask[remask_nodes] = 0.0 pred2 = decoder(z_remask[remask_nodes]) loss_remask = sce_loss(x[remask_nodes], pred2, gamma=gamma) loss = loss_main + alpha * loss_remask optimizer.zero_grad() loss.backward() optimizer.step() return loss.item(), loss_main.item(), loss_remask.item()

主循环外面套个几百轮，每轮打一次损失。我的经验是两三层的编码器在几千节点的小图上，两百到五百轮就收敛得差不多了，再训下去收益很小，甚至有轻微过拟合。

3.4 下游评估：线性探测和微调怎么选

预训练完成后怎么用，直接影响你判断这个表示到底好不好。有两种方式。线性探测是冻结编码器参数，只在隐表示上面加一层线性分类器，用少量标签训练。这个方式衡量的是表示本身的可分性，不掺杂编码器被下游任务改造的因素，是判断预训练质量最干净的手段。微调则是把编码器一起放开训，通常能拿到更高准确率，但你已经无法区分涨点来自预训练还是来自下游数据本身。

class LinearProbe(nn.Module): def __init__(self, hid_dim, num_classes): super().__init__() self.fc = nn.Linear(hid_dim, num_classes) def forward(self, z): return self.fc(z) def probe_evaluate(encoder, probe, x, edge_index, y, train_mask, val_mask, epochs=200, lr=0.01): encoder.eval() with torch.no_grad(): z = encoder(x, edge_index) opt = torch.optim.Adam(probe.parameters(), lr=lr, weight_decay=5e-4) best_val, best_test = 0.0, 0.0 for _ in range(epochs): probe.train(); opt.zero_grad() out = probe(z) loss = F.cross_entropy(out[train_mask], y[train_mask]) loss.backward(); opt.step() probe.eval() with torch.no_grad(): pred = probe(z).argmax(dim=-1) val_acc = (pred[val_mask] == y[val_mask]).float().mean().item() test_acc = (pred[test_mask] == y[test_mask]).float().mean().item() if val_acc > best_val: best_val, best_test = val_acc, test_acc return best_val, best_test

我建议两套都跑，但判断预训练有没有用，只看线性探测的数字。如果线性探测没超过随机初始化的编码器加同样线性层，说明预训练学到的东西对当前任务没价值，这时候去调微调结果只会自欺欺人。这个习惯帮我省了很多时间。

4. 关键参数怎么定：调参经验实录

4.1 掩码率：最具影响力的一个参数

掩码率决定了任务难度，也间接决定了表示的质量，是这套方法里最该认真调的超参。常见取值在百分之三十到七十之间，一半是个稳妥的起点。它的作用机制很直接：遮得太少，被遮节点还能从大量未遮邻居那里获得足够信息，任务太简单，模型学不到东西；遮得太多，图的连通性被破坏，被遮节点的邻域里全是零向量，模型没有任何信息可用，只能靠先验瞎猜，梯度信号变成噪声。

我在几个不同规模的图上测过，规律是：图越稠密、平均度数越高，可承受的掩码率越高。原因是稠密图里一个节点的邻居多，即使遮掉一半节点，剩下的邻居仍然能提供足够信息。稀疏图就相反，平均度数只有两三的话，遮掉一半之后很多节点的邻居全被遮了，这时候得把掩码率降到三成左右。

另一个经验是掩码率要和训练轮数配合。掩码率高的时候收敛慢，需要更多轮；掩码率低的时候收敛快但容易过拟合到简单的局部模式。我一般的做法是先固定一半跑一次看基线，再在零点三和零点七各跑一次，选下游线性探测最好的那个，不要看预训练损失。

4.2 γ 和 α 这两个损失参数怎么取值

γ 控制难样本的聚焦强度。取 1 的时候退化成普通的余弦距离，所有样本权重相同；取 3 是论文的常用值，聚焦效应明显但不至于太激进；再往上取到 5 以上，梯度会被极少数难样本主导，训练不稳定。我的建议是先用 3 跑通，然后如果想进一步提升，在 2 和 4 之间小范围比较一下。多数情况下 3 已经接近最优，这个参数的收益没那么大，别在这里花太多时间。

α 是 re-mask 损失的权重。取 0.1 到 0.3 之间比较常见。这个参数的作用是平衡两个分支的贡献。取太小，re-mask 形同虚设；取太大，主任务被压制，收敛变慢。我在小图上一般用 0.1，因为主任务本身已经足够；在大图上会用 0.2 到 0.3，因为节点数量多，re-mask 分支提供的额外约束更有价值。

还有一个容易忽略的点：两处损失用的 γ 最好保持一致。如果用了不同的值，两个分支的梯度尺度会不匹配，α 的意义就变得模糊，调参时你会发现很难判断到底是哪个分支在起作用。

4.3 网络深度、隐藏维度和归一化的取舍

编码器层数我一般固定在两层，这是图和节点任务上的常见共识。一层的话，每个节点只能看到直接邻居，感受野太小；三层以上在小图上容易过平滑，也就是所有节点的表示趋同，线性探测的准确率会明显下降。如果你的图直径特别大（比如社交网络里跨度很长的路径），可以考虑加残差连接再堆到三层，但不加残差的深层编码器我基本不碰。

隐藏维度上，论文默认用了比较大的值，但那是为了在大图上跑出好看的指标。实际操作里，几千节点的图用一百二十八维甚至六十四维就够了，维度再大除了增加显存开销没什么好处，反而更容易过拟合。判断标准很简单：如果隐藏维度和特征维度差了一到两个数量级，先想想是不是真的需要这么大。

批归一化和 dropout 这两个不能省。批归一化在图上有个微妙之处——它是在所有节点上统计的，被遮节点的零向量会拉低均值，导致归一化后的分布有偏。我的处理是在归一化之前先把被遮节点的隐表示从统计里排除，或者干脆在预训练阶段用层归一化替代。dropout 的比例我一般设零点二，设太高会破坏消息传递的完整性，设太低在小图上容易记住训练数据。

5. 踩坑实录与问题排查

5.1 典型症状对照表

跑这套方法最常碰到的现象就那么几种，我把症状、可能原因和处理方式整理成表，遇到问题时对着找就行。

5.2 几个文档里不会写但很要命的细节

第一个是自环的处理。图神经网络库在计算时是否自动加自环，对重建任务影响很大。如果加了自环，被遮节点在第一层消息传递时会把自己那个零向量也聚合进来，相当于引入了噪声，而且会让不同被遮节点的表示更接近。我的建议是在预训练阶段手动去掉自环，让被遮节点的表示纯粹来自邻居。这个改动很小，但我在一组对比里看到它带来了半个多点的下游提升。

第二个是特征标准化和 L2 归一化的顺序。正确的顺序是先做标准化（减均值除标准差），再做行归一化（拉到单位长度）。反过来的话，行归一化之后的向量均值不再为零，标准化会破坏单位长度这个性质，余弦距离的意义就没了。这个顺序问题很隐蔽，因为两种顺序都不会报错，损失也能下降，只是效果差一点，非常难察觉。

第三个是被遮节点在批归一化统计里的污染。前面提过一次，这里强调具体做法：计算批归一化的均值和方差时，把被遮节点排除掉，只用未遮节点统计。有些框架不直接支持按掩码算统计量，那就退一步，至少别让全零向量参与，最简单的方式是把被遮节点的隐表示替换成可学习的填充向量而不是零，这样统计就不会被系统性拉偏。

第四个是评估阶段的随机性。线性探测那层分类器的初始化对最终数字有影响，尤其是在训练集只有几十个样本的少样本设定下，不同初始化的波动可能超过一个点。这个来源必须通过多次采样取平均来控制。我在小图上习惯跑十次不同划分，报均值加标准差，只报单一结果的做法在小图上是不可信。

6. 适用边界与可延展的方向

6.1 什么图适合套这套方案

这套方法最适合的场景有几个共同特征：节点特征稠密且连续，特征本身携带的信息量大；图规模中等，几千到几十万节点；标注样本稀缺，比如只有每类十几个；图结构相对完整，孤立节点少。推荐系统里的用户物品图、风控里的账户关系图、分子属性预测里的原子图，这几类都符合上述条件，我在前两类上有过直接的使用经验，效果确实比现成的对比学习方案更稳定。

分子图这类需要特别注意。分子图里原子数量少（几十个），边密度不低，节点特征通常是类别型的，比如原子类型、电荷状态。这种情况下被遮节点的邻域往往很小，掩码率必须降下来，而且特征要么先做嵌入映射，要么用独热编码加 L2 归一化。直接在类别型特征上算余弦距离没有意义，必须先变成连续表示。

6.2 什么情况下别浪费时间在这上面

有几类图我试过效果不好，建议直接换别的方案。第一类是纯结构图，节点没有任何有意义的特征，只能靠度数或者常数向量当特征。这种情况下特征重建目标退化成重建一个常数，代理任务完全没有信息量。这类图应该走对比学习或者结构专用的自监督路线。

第二类是规模特别大的图，节点数到千万级别。全图掩码加消息传递在单卡上跑不动，必须做采样子图，但采样会破坏被遮节点邻域的完整性，重建质量显著下降。这种情况下需要更复杂的分布式训练或者基于采样的近似方案，工程成本陡增。

第三类是动态图或者多关系图。标准的这套方法假设图是静态的、单一关系的。虽然可以扩展，但直接的扩展方式往往没法利用时间维度或者关系类型的信息，效果还不如专门针对这类图设计的方法。如果你的业务是时序交易网络或者知识图谱，先别指望这套方案能直接拿来用。

6.3 后续可以往下走的几个方向

如果这套方案在你的场景里已经跑出效果，想继续深挖，有几个方向值得试。一个方向是把解码阶段的监督信号做得更丰富，除了原始的输入特征，再加一路从更上层语义提取的目标，形成多粒度的重建任务。这类改造的思路是让编码器在不同抽象层次上都受到约束，表示会更稳定。另一个方向是把这套预训练机制和对比学习结合，用重建损失保证局部信息，用对比损失保证全局区分度，两条腿走路。

还有一个我最近在试但还没跑出确定结论的方向，是把掩码率做成可学习的或者自适应的。具体想法是让模型根据节点的度数动态决定它的掩码概率，度数低的节点少遮，度数高的多遮，这样能避免稀疏区域的信息被彻底切断。现在的做法是全局一个固定比例，对度数分布很不均匀的图明显不合适。这个方向如果在你的数据上验证有效，可能是个不小的改进点。

最后提醒一句，这套方法的价值在于它是一个稳定的、容易复现的基线，而不是一个在所有场景都最优的方案。我在实际项目里的做法是把它作为预训练的默认起点，跑通之后再去尝试更复杂的对比学习方案，如果复杂的方案没有明显超过它，就留在简单方案上。毕竟能稳定复现、容易调试、参数少的方法，在真实的工程节奏里比多涨半个点的复杂模型更有价值。