图卷积网络在无监督视频表征学习中的应用：VidSage

最近在梳理无监督视频表征学习这个方向的时候，读到了VidSage这篇工作。它把图卷积网络（GCN）引入无监督视频表征学习，用图结构来建模视频内部的关系，而不是像大部分工作那样单纯走时序对比学习的路线。这篇笔记我写得比较细，把我读论文时拆解的建模思路、训练目标的逻辑、实验设计的用意，以及我自己复现时踩过的坑都记下来了，适合正在做视频表征学习、或者想了解GCN在图视频数据上怎么用的读者参考。

1. 视频表征学习这件事，难在哪里

我在刚接触视频表征学习的时候，第一反应是"这不就是给图像加了个时间轴吗"，后来才发现事情没那么简单。图像表示学习要解决的核心问题是"这张图里有什么"，而视频表示学习要解决的却是"这一段时间里发生了什么、物体怎么运动、事件怎么演变"。这个差异直接决定了方法设计上的分水岭。

1.1 视频相比图像多出来的麻烦

视频的时序维度带来了三个层面的难题：

第一个是计算和存储压力。随便一段10秒的视频，按25帧每秒算就是250帧，哪怕做均匀采样降到16帧，表达的信息量也远超单张图像。早期直接拿3D CNN在原始帧上硬算的做法，参数量和显存占用都很不友好。

第二个是时间维度的语义粒度问题。图像里的语义基本在一帧内就能确定，而视频里"一个人从走到跑"这种状态变化，需要跨越多个帧才能看出来。这就导致模型不能只在帧级别做特征提取，还得有跨时间聚合的能力。

第三个是标签的获取成本。图像分类的数据集打标已经很贵了，视频动作识别要标注"从第几秒到第几秒、谁在做什么动作"，成本翻好几倍。更现实的问题是，很多真实场景视频根本没法提前定义好类别，标签体系本身就不成立。

正因为标签这条路走不通，无监督学习在视频领域是刚需，不是锦上添花。这也是我关注VidSage的根本原因——它试图在没有人工标签的前提下，让模型从视频本身的结构里学到有用的表征。

1.2 记忆点：从"预测未来"到"关系建模"

在VidSage之前，主流无监督视频表征学习基本分成两派。一派是时序预测派，核心思想是把视频当成句子，让模型预测下一帧或者未来片段，学到的特征自然包含时序信息。另一派是对比学习派，把同一视频的不同裁剪视图当成正样本对，拉近它们的表征，同时推开不同视频的表征。

这两派都有成效，但我读论文的时候注意到它们的共同短板：它们把视频当成"帧的序列"来建模，默认信息只沿时间方向流动。可视频里的关系比这复杂得多——不同片段之间可能在内容上高度相关（比如都在拍同一个人），也可能在语义上形成对比（比如前后景象完全不同）。这些关系不是单纯的前后顺序能表达的。

VidSage换了个视角：把视频当成一组相互关联的片段集合，片段之间的关联用图来描述，再用图卷积网络在这个图上做信息聚合。这样一来，模型能同时利用时序关系和非时序的语义关系，而不是只沿着时间轴单方向看。

1.3 为什么偏偏是图卷积网络在这里合适

我最初也问过这个问题：Transformer不是也能建模关系吗，为什么选GCN？结合论文里的表述和我自己做实验的体会来看，有几点很实际：

• GCN天然适配"邻居聚合"语义。视频表征学习里，一个片段的高质量表示应当从它相关的其他片段中获取上下文。图卷积做的事情就是迭代地聚合邻居信息，从机制上就和这个需求匹配。
• 计算开销相对可控。视频片段数量通常不会特别多，在一段视频内部建图，节点规模一般也就十几到几十个，GCN的计算量完全在可控范围内，不需要像视频Transformer那样在长序列上做全局注意力。
• 和GraphSAGE为代表的inductive学习范式一脉相承。VidSage这个名字本身就带有GraphSAGE的痕迹，采用的思想也是"采样邻居、聚合特征、更新表征"，对新视频可以直接泛化，不需要在训练时固定图结构。

所以这个选型不是追新，而是问题本身的匹配。

2. 把视频看成图：VidSage的建模思路

读完论文，我认为VidSage整个框架里最核心的设计决策只有一个：如何把一段视频变成一张图。这个"怎么建图"的问题，比用什么GCN层、用什么loss更关键。图建得不对，后面的聚合和训练都是在错误的结构上跳舞。

2.1 节点：从原始帧到视频片段

VidSage没有把每一帧作为图的节点。原因很直接：单帧的信息量太低，而且相邻帧之间的差异往往只是像素级别的微小变化，把它们都当成独立节点，图会变得非常冗余，GCN聚合出来的表征也没有意义。

实际做法是把视频切成长度相同的片段（比如每4帧一个片段），每个片段通过一个2D CNN编码成一个特征向量，这个特征向量就作为图里一个节点的初始特征。用片段而不是单帧，相当于做了时间维度的粗粒度化，让图里的每个节点承载更丰富的语义信息，也降低了图规模。

这里有一个细节值得注意：特征提取器在无监督阶段是和GCN一起端到端训练的，不是固定不变的。这意味着GCN对图的聚合反过来会影响特征提取器的学习——如果两个片段在图里是邻居，它们的特征就会被拉近，于是特征提取器会逐渐学会"把语义相关的片段映射到相近的空间"。这种协同演化的关系，我觉得比单纯用预训练特征更有意思。

2.2 边：时序近邻和语义近邻要同时存在

图的边是VidSage的另一个关键设计。论文里建边不是只靠"相邻片段连一条边"，而是把边的来源分成了两类：

第一类是时序边。相邻片段（或者间隔K个片段的片段）之间连边，表达"这两个片段在时间上是连续的"。这条边保留了对时序顺序的建模能力，是视频结构里最朴素也最可靠的关系。

第二类是语义边。在特征空间中，如果两个片段的特征相似度超过某个阈值，或者互为k近邻，就给它们连一条边。这条边表达的意图是"这两个片段虽然在时间上隔得远，但内容上是相关的"。

在我的理解里，这两类边互补性很强。时序边保证模型知道"什么顺序发生的"，语义边让模型知道"什么东西是相关的"。在实际视频里，同一个物体反复出现、同一个场景来回切换，这些跨时间的语义关联靠时序边根本表达不了，只能靠语义边。

2.3 图的结构是动态的还是静态的

VidSage用的是动态图——图结构不是预先固定好的，而是每一批训练数据进来、特征更新之后重新计算的。这个决策执行层的逻辑很清晰：

如果图是固定的，那么GCN学到的只是在这个固定结构上的查表式聚合，泛化能力有限。而动态图让每一轮迭代都在"当前特征空间"里重新定义邻居关系，等于在训练过程中不断给模型提出新的挑战——你不仅要学特征，还要在特征变化的同时适应新图结构。

实操中这种动态建图要求模型对特征空间的变化不能太剧烈，否则图结构会不稳定，训练容易震荡。这也是我在复现时最注意的问题之一，后面会详细说。

3. 无监督训练目标：模型靠什么信号学习

建好了图，接下来就是VidSage最核心的问题：没有标签，用什么损失函数来驱动GCN和特征提取器学习？论文给出的方案可以拆成两个层次来看：一个对比学习层面的全局目标，一个图一致性层面的局部目标。

3.1 对比学习：拉近"该近的"，推开"该远的"

和主流的无监督视频表征学习一样，VidSage也使用了对比学习的基本框架。具体来说，同一段视频经过不同的数据增强（比如随机裁剪、颜色抖动、时序打乱恢复），得到的表征应该尽量接近；而不同视频的表征应该互相推开。

但VidSage的对比不是作用在视频级表征上就完了，它还额外约束片段级的表征。这一点我认为在思路上更精细：

把同一个视频的不同片段看成"这一组的成员"，它们的表征应该聚集在一起，而来自其他视频和本视频无关的片段应当远离。于是对比目标既保留了视频级判别的能力，又给片段级特征施加了空间约束，防止图节点特征在训练中退化到无区分度的状态。

3.2 图一致性约束：邻居的表征要和谐

单靠对比学习，模型学到的大概率还是"片段本身长什么样"，而GCN参与进来的价值应该体现在"片段在上下文中的角色"。为了让GCN真正学到图的语义，VidSage加了一个图一致性约束。

它的核心思想用一句话概括：在图里互相关联的节点，它们在表征空间里也应该保持一致或互补。具体做法是，把原始特征和经过GCN聚合后的特征做一个对齐——让节点的原始表示和它的聚合表示互相预测。这个目标本质上是在逼问模型一个问题："如果只知道某个片段和它的邻居是什么，你能不能还原出这个片段的特征？"

能完成这个任务，意味着模型的节点特征已经包含了邻居上下文的信息。这其实和Word2Vec里CBOW的思想有一点神似——用上下文预测中心词。只不过在这里，上下文不是一串词，而是一张动态图上的邻居集合。

3.3 训练时的采样和流程

无监督训练要想稳定，采样策略很关键。VidSage采用的做法是从训练集中随机抽一个batch的视频，对每个视频做片段切分、特征提取、图构建，然后同时计算对比损失和图一致性损失。整体流程大概是：

1. 从一段视频中采样出若干片段；
2. 特征提取器对每个片段编码，得到节点初始特征；
3. 在特征空间上计算节点间相似度，结合时序关系，构建图；
4. GCN在图上做几轮聚合，得到带上下文信息的节点表征；
5. 视频级表征通过对所有节点表征做池化得到；
6. 用对比学习损失拉近同视频表征、推开异视频表征，用图一致性损失对齐原始节点表征和聚合后节点表征。

这个流程里我特别想强调的是第4步和第5步的衔接。GCN输出的每个节点已经带了邻居的信息，这些节点再被池化成视频表征时，视频表征就不只是"帧特征的均值"，而是一个聚合了内部关系的整体表示。这比普通的帧级特征平均池化更有信息量。

4. 实验设计与结果解读

看论文的实验部分，我一般不会只盯着精度数字，而是会想清楚每个实验设计到底在验证什么。VidSage的实验安排在这方面做得比较完整，从评估协议到消融实验，环环相扣。

4.1 评估协议：线性探测是检验表征质量的试金石

无监督表征学习的标准评估方式之一是线性探测（linear probing）：把学到的特征提取器冻结，特征后面接一个线性分类器，只训练这个分类器，看分类精度。这个协议的关键在于——它隔离了"特征好不好"和"分类器强不强"这两个变量。

VidSage在这个评估协议下的结果，在小规模动作识别数据集上，线性探测准确率明显高于基于时序对比的基线方法。这个提升来源我认为要归功于语义边的引入：时序对比方法只能利用相邻片段之间的关联，而VidSage通过语义边把同一个动作中跨时间反复出现的视觉模式有效关联起来，线性分类器拿到的特征自然更容易区分不同类别。

4.2 不同数据集规模和迁移场景的表现

论文在迁移学习上的实验也很有参考价值：在源数据集上无监督训练，然后迁移到其他下游任务，评估效果。我发现这类图建模方法在迁移场景下通常比纯时序对比方法更稳，原因在于GCN学到的是"关系聚合"的能力，而关系聚合这个技能本身是跨数据集通用的。

另外，在小数据场景下，VidSage的优势更明显。无监督方法最怕的不是数据多，而是数据少且分布杂。GCN的邻居聚合天然起到了类似局部降噪的作用，让单个片段的异常特征不容易带偏整体表征。

4.3 消融实验的启示：哪部分设计最关键

论文的消融实验我重点看了三个问题：

去掉语义边只保留时序边，性能明显下降。这说明跨时序的语义关联确实是收益的主要来源。去掉图一致性损失只保留对比学习，性能也有下降，但幅度小于去掉语义边。这告诉我们：VidSage的核心竞争力更多在图结构的设计，而不是loss设计。两个组件同时存在时互相增益最大。

这里有一个自己的思考：语义边的建图方式对结果非常敏感。用k近邻建图，k值太大，图会变得过度连通，所有节点都互相影响，GCN聚合出来就和全局平均差不多；k值太小，图又过于稀疏，邻居信息不足。实验里最优的k值通常不大（个位数到十几），这暗示视频内部真正有意义的强关联是相对稀疏的。

5. 复现实操中的几个关键细节

读论文是一回事，把代码跑起来又是另一回事。我复现VidSage的时候遇到了一些论文里着墨不多但实操中绕不过去的问题，这里整理成笔记，给想动手复现的朋友做个参考。

5.1 图构建模块的实现要点

图构建是我第一个卡住的模块。动态图意味着每一轮迭代都要重新计算相似度矩阵、取近邻、生成邻接矩阵。我最初的写法是用双重循环计算每对片段的相似度，batch和片段数量一上来就慢得离谱。

正确做法是把特征矩阵做矩阵乘法来算余弦相似度，然后用topk取近邻。一个实现要点是拓扑维度的对齐，别在batch维度上把不同视频的片段混在一起算近邻——每个视频内部的节点才能互相建边，不同视频的片段在各自动图里是孤立的。这块用mask处理好还是很清爽的。

5.2 训练稳定性的三个坑

第一个坑是图结构震荡。前面提到动态图是每轮重新建的，如果特征空间变动太剧烈，节点的邻居关系会在训练早期频繁剧变，GCN的聚合目标也跟着飘，loss曲线看着就不对劲。缓解手段有两个：一是给特征提取器的学习率设低一点，让特征空间缓慢变化；二是用滑动平均的方式更新用于建图的特征，而不是直接用当前batch的原始特征。

第二个坑是对比学习里的负样本设置。视频对比学习里，同一个视频的正样本还好说，负样本如果全部来自当前batch的其他视频，容易出现"batch太小、负样本太简单"的问题。我当时把batch size调大之后效果有明显改善，但显存占用也随之上升，需要在性价比上做取舍。

第三个坑是GCN层数不能太多。图卷积叠到三四层以上，特征会过度平滑，所有节点表征趋同。在视频片段级图上，两层的GCN基本够用。论文里我没看到明确说用几层，但按GCN的通病来说，深了大概率坏事。

5.3 一个小型超参数参考表

我复现时用起来比较稳的参数组合大致是下面这样，仅供参考：

注意：这些参数在不同数据集上不保证通用，尤其是片段数和k近邻值，跟视频的平均时长、动作复杂度都有关系。我自己的经验是先固定其他参数只调k值，观察哪个k值下验证集线性探测精度最先收敛，再继续调别的。

6. 读完之后的思考与扩展想法

论文读完、代码跑通之后，我坐在电脑前想了不少在这篇工作之外的问题。VidSage这篇论文最大的贡献，在我看不是又一个无监督视频表征的方法，而是示范了一种思路：视频的理解不该被"时序序列"这一个框架锁死，图结构可以成为更自然的表达语言。

6.1 这个方法真正有价值的点

把视频建模成动态图，这个视角其实打开了不少后续工作的空间。最让我欣赏的是它对"长时依赖"的处理方式。对比学习做长时依赖通常靠时序上的间隔控制，间隔大了就难学。但图模型不需要硬编码间隔——只要语义相似，远距离的片段也会被连边，GCN自然就把它们的表征关联起来了。这在处理"视频前后呼应"这类结构时特别自然。

另外，这种方法对多片段视频的扩展也更容易：节点增加对GCN来说只是多几个邻居，不需要像Transformer那样重新计算全局注意力。这在长视频场景下有实际应用价值。

6.2 局限性也不能回避

首先是语义边依赖初始特征质量。在训练早期，特征提取器还比较弱的时候，特征空间里算出来的近邻不一定真的语义相近，这就相当于给图注入了一部分有噪声的关系。虽然有滑动平均缓解，但我认为这个问题仍然没有被完全解决，后续如果有工作能从局部像素特征或光流信息来补充建图，应该会有改善。

其次是图聚合的所得依赖建图的准确性。这其实是循环依赖问题——你想学好的表征来建好图，可又需要好的图来学好表征。VidSage用动态迭代的方式缓解了这个死锁，但它本质上靠的是"大部分情况下弱特征也能找到粗粒度的近邻"这个运气，当视频内容特别杂、物体频繁切换时，语义边的有效性会打折扣。

6.3 我接下来想尝试的方向

如果我在VidSage基础上做扩展，会优先尝试三件事。第一，把建图特征替换成多模态特征（不只是RGB，加上光流或者音频），让语义边在跨模态的语义对齐下更可靠。第二，在图聚合同步引入时序位置的编码信息，目前节点特征已经包含了片段内容，但显式的时序位置编码可以帮助GCN区分"相邻的同类片段"和"相隔很远但语义相似的片段"，这两个情况在图里是连了不同的边。第三，把预训练任务从纯对比扩展到视频级重建，让模型在图聚合后不仅能判别视频，还能重建原始片段序列，这可能会让表征保留更多的细节信息。

我在复现VidSage的过程中，最大的体会是：无监督视频表征学习到最后拼的往往不是模型有多复杂，而是你有没有选对描述视频结构的语言。VidSage把图卷积网络带到这条赛道里，挑了一个值得持续深耕的方向。希望这篇笔记能给正在看相关工作的你提供一些参考，也欢迎在实践中一起交流把图建得更稳的经验。