视频证据到推理：显式锚定机制让视频问答可解释又高效

很多人第一次接触视频理解项目时，都会遇到一个让我印象深刻的场景：模型答对了问题，但你追问它"为什么这么答"，它说不出来，而且你去回看它实际依据的画面，发现它看的根本不是关键片段，靠的是别处的字幕或者前后几帧的模糊信息在"猜"。我最早做某个视频问答Demo时，就遇到过这种"答对但没看懂"的情况——一个关于"谁先进入房间"的问题，模型给出了正确答案，但证据片段里根本没有人物进门的画面，它是从后续对话反推出来的。那一刻我就意识到，如果视频理解系统的答案不能追溯到可验证的原始片段，那它的可靠性就永远差一口气。

这就是标题里Video Evidence to Reasoning要解决的问题：把"视频证据"作为推理的中介，通过显式证据锚定（Explicit Evidence Grounding）先定位与问题相关的视频片段，再让模型基于这些片段生成答案。这个方向不是给视频模型加一个"定位分支"那么简单，它同时关系到准确率、可解释性和计算效率三件事。本文我就把自己在这类项目里的完整思路、关键设计、踩过的坑和评测方法一次讲清楚，适合正在做视频问答、视频检索增强、多模态大模型落地的人参考。

1. 视频理解为什么需要"证据"：从一场"答对但没看懂"的事故说起

1.1 视频大模型的"自信幻觉"：三个真实场景

现阶段的视频多模态模型，处理方式大致分两类：一类把视频抽帧后当多张图像拼进上下文，另一类做短片段级编码然后让模型"看过"再回答。无论哪类，都存在一个共同问题：模型给出的答案缺乏可追溯性。

我实际遇到过三种典型情况。第一种是"字幕泄漏"，视频里有一段对白提到了关键信息，模型其实没有看清画面，只是从字幕文本里"捡"到了答案，但字幕对应的画面和问题关心的视觉对象根本不是一回事。第二种是"时间错位"，长视频里同一类事件会出现多次，模型记住了事件A的画面，却用它回答了关于事件B的问题，因为两者的视觉特征太像。第三种是"全局平均偏置"，模型看了整个视频后形成了一种"整体印象"，遇到具体到某一秒、某一对象的问题时，它只能用统计惯性去猜，比如视频里大部分时间是阴天，它就会倾向于回答"光线不好"，哪怕问题问的是那唯一一秒的晴天。

这三种情况有个共同点：模型没有把"答案"锚定到"证据"上。所谓证据，就是视频中与问题直接相关的那个原始片段，包含视觉内容、对应时间戳，可能还有同步的音频和文本信息。没有证据锚定，模型回答得再流畅，本质上也是在做一个不确定的猜测。

1.2 显式证据锚定的定义：证据、锚点与推理的关系

把这个思路整理成可落地的技术方案，就是标题里的Explicit Evidence Grounding。它强调"显式"，意思是证据不能被隐式地编码进模型的某个中间向量里就完事，而是要作为一种独立的、结构化的中间产物出现在推理链路中。

具体来说，一个典型的证据锚定系统有三个要素。第一是证据本身，它必须是一段可定位的原始内容，有起始时间戳、结束时间戳，最好还有置信度分数。第二是锚点（Anchor），也就是问题中涉及的关键实体或关键事件，比如"红车""开门那一瞬间""某个主要角色说的话"，这些锚点决定了我们要找什么。第三是证据到推理的映射，模型必须明确看到"基于这段证据，我得出了什么结论"，而不是把证据和问题混在一段长上下文里让模型自由发挥。

我用一个生活化类比来说：这就像考试时允许带小抄。没有证据锚定的模型是闭卷考试，凭记忆和印象作答；有证据锚定的模型是开卷考试，但是它必须先明确"这道题对应小抄上的哪一行"，然后把那一行抄到答题区旁边，再基于它写出推导过程。后者不一定每次都对，但它的每一步都有据可查，错了也能迅速定位到是证据选错了还是推理错了。

1.3 为什么"显式"比"隐式"更可靠：注意力权重不可解释

可能有人会问：很多模型内部本来就有注意力机制，模型“注意”到了某些帧，这不就是隐式的证据锚定吗？实际操作过就知道，注意力权重做不了可靠的证据来源。

第一，注意力权重是分布式的，一个时间步的注意力可能分散在几十帧上，你很难画一条界线说"从这里到这里是模型用来作答的证据"。第二，注意力权重和最终输出之间的关系是高度非线性的，权重高不代表因果贡献大，可能只是某个帧的视觉特征恰好和查询向量内积大，它对答案是抑制还是促进，你也说不清楚。第三，从工程角度讲，注意力可视化只能作为调试工具，没法作为交付品——你不能跟业务方说"模型注意了第37帧"就算给了证据，业务方要的是能直接点开播放、人工复核的片段。

所以显式证据锚定的核心价值，是把"证据"从一种隐式的内部状态，变成一种显式的外部产物。它既可以被下游推理器直接读取，也可以被人工复核，还可以被用于后续的失败分析。这带来的连锁好处是：系统的可解释性上去了，调试效率也上去了，因为你知道错误发生在"证据定位"环节还是"证据推理"环节。

2. 证据锚定的三个关键设计：时间戳、证据跨度与模态对齐

2.1 证据的结构化表示：从"一段视频"到"一条证据记录"

要把证据变成推理器能读的东西，第一步是定义证据的数据结构。我最终采用的表示方案如下，你可以直接拿来当模板：

{ "evidence_id": "ev_000137", "video_source": "clip_07", "start_sec": 12.8, "end_sec": 18.4, "confidence": 0.93, "modality_sources": ["vision", "subtitle", "audio"], "event_type": "object_entering_room", "frames": [382, 385, 388, 391], "text_transcript": "他推门进来的时候手里拿着一个文件袋" }

有几个字段我想特别说一下设计理由。

时间戳必须以秒为单位而不是帧号，因为不同视频的帧率不一样，秒是跨视频通用的度量，也方便人直接拖进度条核对。起始和结束时间必须是一个闭区间，而且我建议限制最大证据时长，比如8秒。原因有两个：一是超过8秒的"证据"往往混入了多个无关事件，模型看了反而被干扰；二是推理器接收的证据文本长度有限，过长的片段会导致截断，丢掉关键信息。

置信度字段非常关键，它有两个作用：在证据精排阶段用来淘汰低质量证据；在推理阶段让模型知道"这条证据有多可信"。我在实验里发现，如果只给模型证据而不给置信度，模型面对多条冲突证据时会倾向于采信最后出现的那条；给了置信度以后，模型会更合理地遵循高置信度证据，这在多选题场景里提升尤其明显。

modality_sources字段记录这条证据来自哪些模态。这是容易被忽略的细节：同一个视觉片段，配不同的字幕，它们表达的信息可能互相矛盾。比如画面里有人在笑，但字幕是严肃的对话，模型如果同时收到视觉和字幕两种模态，它需要判断以谁为准。显式记录模态来源，可以让推理器在遇到模态冲突时优先采用视觉证据，或者把冲突本身当作一个需要澄清的点反馈给用户。

frames字段是可选的，它记录证据片段中若干关键帧的索引，供可视化面板直接展示缩略图。它不是推理所必需的，但调试的时候非常有用，我在后文会展开说。

2.2 候选证据抽取：跳帧采样与语义聚类

有了数据结构，下一个问题是：怎么从一段动辄几百秒的视频里抽出候选证据？我的做法分两步：先做候选抽取，再做精排，最后才交给推理器。候选抽取的目标不是一步到位找对，而是"宁多勿漏"，保证真正有用的片段在候选集里。

第一步是设计一个跳帧采样策略。均匀抽帧是所有方案里最差的——重要事件可能恰好落在两个采样帧之间，尤其是持续时间很短的动作，比如"眨眼""递东西"这类，均匀采样极易漏掉。我采用的方案是两步式跳帧：

• 先用视觉语言模型对整段视频做粗粒度的镜头边界检测，把视频切成若干语义基本一致的镜头；
• 再在每个镜头内部，根据镜头时长自适应抽帧：镜头时长小于3秒的全部保留，3到10秒的抽3到5帧，超过10秒的按内容变化程度抽5到8帧。

这里的核心思路是"语义优先于时间均匀"。镜头边界检测本身不需要很高精度，哪怕把一个大事件切成两半也没关系，后续候选精排会再拉通对齐，但它的价值在于让采样密度跟着内容复杂度走，复杂镜头多抽帧，静止镜头少抽帧，避免无效计算。

第二步是语义聚类。抽出来的帧数量仍然偏多，直接全部送入精排器会超长。我先用视觉特征对这些帧做聚类，聚类的距离度量用的是特征余弦相似度，聚成若干簇后，每个簇保留一个代表帧，同时记录这个簇覆盖的原始时间跨度。这一步把候选帧数量压缩了大约6到8倍，而且因为簇内帧语义相近，代表帧基本能概括簇内信息。如果你用的是自带特征提取的视频模型，这一步可以直接复用它的视觉编码器，不用额外引入一套模型。

2.3 证据精排：两条路线对比

候选证据准备好之后，要从中选出与问题最相关的若干条。我试过两条路线，各有适用场景。

第一条路线是"检索器+重打分"。用视频的文本描述或关键帧的字幕生成一个可检索的索引，用户的问题作为查询，先用向量召回Top-K个候选片段，再用一个交叉编码器对"问题+候选片段"逐条打分，按分数取前N条。这条路线实现简单、解释性好，分数本身就可以作为证据置信度，但它的缺点是检索器的召回能力决定上限，如果问题里有视觉属性（比如"红色车的颜色"），而视频没有生成对应的文本描述，召回就会失败。

第二条路线是"端到端证据生成"。直接让一个视频语言模型任务化为输出"证据片段"：给它整段视频和问题，让它输出若干个时间区间及其理由。这条路线的优点是模型能看到完整视频，不会被检索器的文本盲区卡住；缺点是可控性差，模型可能输出不存在的区间，而且生成区间的时间边界往往有偏差。

我在最终项目里采用的是混合方案：先用端到端模型生成候选区间（因为它的召回更全），再用检索器召回结果去校验和修正区间边界，最后交叉编码器统一打分。这样把两种路线的优点叠在一起，代价是多一次推理开销，但换来了更稳的证据质量。

3. 从证据到推理：三阶段管线的实现细节与工程落点

3.1 阶段一：问题驱动的证据搜索

证据搜索不是把问题原样丢给检索器就完事，而是要先对问题做一次"锚点解析"。我的做法是让模型把问题拆成两部分：关键实体列表和查询意图。比如问题"在会议开始前，谁最后进入房间？"，拆出来是关键实体["谁"、"会议开始前"、"进入房间"]，查询意图是"识别进门动作的出现顺序并定位最后一人"。锚点解析这一步我强烈建议直接用指令微调或者强提示词让通用大模型来做，不要自己写规则。事件描述在真实问题里千变万化，规则引擎维护成本太高。

锚点解析后，查询就变成多路：一路用事件描述去做语义检索，一路用关键实体去做文本匹配，还有一路如果视频有语音转写文本，就去文本搜索时间戳。多路召回结果合并后按时间戳排序，相邻且重叠的区间合并成一个大的候选区间，这一步很重要，因为同一个事件往往会被多路召回以不同粒度命中，不合并会导致后面证据个数爆掉。

3.2 阶段二：证据聚合与去重

候选区间合并后，往往还会有冗余：同一个门进出的动作，可能被不同帧率、不同文本描述命中多次，形成多个高度重叠的区间。这需要做一次时间轴上的非极大值抑制，逻辑和物体检测里的NMS一样——按置信度分数排序，高置信度区间保留，与它IoU超过0.5的低置信度区间直接丢弃。

去重之后还要做一个跨模态校验。如果一条候选证据同时包含视觉和字幕模态，我会要求两路信号对该事件的描述一致，至少不冲突。校验方式不需要很复杂，把视觉描述和字幕文本分别让模型总结成一句话，再用文本相似度判断是否指向同一件事。这一步能大幅降低"字幕泄漏"类错误，因为字幕里的信息如果画面上完全没有对应内容，相似度会很低，这条证据会被标记为低置信度，在推理时被降权。

聚合的最后一步是设置证据数量上界。我实测下来，喂给推理器的证据条数在3到5条时效果最好，超过5条模型开始混淆证据之间的时间顺序，低于3条则容易漏信息。这个工作区在不同类型的视频上略有差异，但总体趋势非常稳定。

3.3 阶段三：证据注入推理器的Prompt拼装

证据确定之后，最后一步是拼装prompt喂给推理器。我踩过一个很深坑：把证据原样丢进上下文，结果模型被长文本淹没，关键信息反而被稀释。所以我把证据注入做成了固定模板：

你的任务：基于以下视频证据片段，回答用户问题。 问题：{question} 证据片段（按时间顺序排列）： [证据1] 时间区间 12.8s-18.4s，置信度0.93 视频内容概括：一个穿深色外套的人推门进入房间，手里拿着文件袋。 字幕："我到了。" 所属模态：视觉+字幕+音频 [证据2] 时间区间 5.2s-9.0s，置信度0.87 视频内容概括：会议室长桌旁坐着三人，正在讨论日程。 字幕："等他到了我们就开始。" 所属模态：视觉+字幕 请按以下要求作答： 1. 先简明引用你使用的证据编号； 2. 基于证据给出答案； 3. 若证据不足，明确说"证据不足"并给出猜测及理由。

这个模板有三个设计点值得借鉴。第一，强制模型"先引用证据再作答"，这一步看起来简单，但它把推理链路从模型内部显式化了，模型的答案正确率没有明显变化，但答案的可验证性大幅提升。第二，证据按时间顺序排列而非按置信度排列，因为视频推理高度依赖事件的时间顺序，模型需要先建立时间线再找因果。第三，允许模型说"证据不足"，这实际上把模型的"拒绝能力"也变成了一种可用的输出，业务上反而更可信。

3.4 调试技巧：证据可视化面板

最后聊一个工程上很实用的环节——证据可视化调试。一个纯文本接口的检索系统，你很难判断某条证据到底是"选对了但模型没用好"还是"根本选错了"，所以我在开发时写了一个简单的可视化面板：左侧是视频时间轴，右侧是对应证据的缩略图、字幕内容和模型引用的检索结果。

这个面板帮我在一周内定位了三个系统性问题：一是时间戳偏移，某条证据的起始时间比真实事件早了4秒，原因是端到端生成模型的边界预测偏差；二是帧号与秒数换算错误，某段视频是可变帧率，直接乘帧率系数导致时间错位；三是采样帧丢失，某个快速动作恰好落在两个采样帧之间，证据里完全没有目标事件。这三个问题的类型完全不同，但没有可视化面板，你可能只会笼统地归因为"模型效果不好"，永远定位不到根因。

4. 高效性的四个来源：为什么这条路可以"又准又便宜"

4.1 稀疏化：只处理问题相关的5%视频内容

标题里的Efficient值得仔细琢磨。显式证据锚定之所以能带来效率提升，是因为它把"理解整个视频"变成"理解视频中问题相关的几个片段"。我们可以在推理阶段只让视频语言模型处理选中的证据片段，而跳过与问题无关的绝大部分内容。

我在一个时长120秒的模拟场景视频上做过统计：搜索结果后选中的证据片段总时长约为6秒，占全片的5%。这意味着在推理阶段，模型只需要编码这6秒的视觉内容，而不是整段120秒。对于长视频，这个比例会更夸张。试想一段1小时的监控视频，你的问题只关心案发前后的30秒，如果没有证据锚定，你要么把1小时全编码进上下文（成本极高且上下文长度有限），要么用某种全局池化把信息压扁（细节全丢）。证据锚定提供的是第三条路：精确定位后局部编码，成本最低且信息最完整。

4.2 分层时间索引：从镜头边界到关键帧

前面讲的证据搜索阶段，同样存在计算瓶颈。如果对每一帧都做特征提取和匹配，那"筛选片段"的成本可能比"全量编码"还高。解决办法是建立分层的视频时间索引。

第一层是镜头边界索引：先离线把视频切成镜头，记录每个镜头的起始时间和代表帧，这层索引的计算量相对小，而且一次构建、多次复用。第二层是镜头内的关键帧索引：每个镜头内再计算若干关键帧的视觉特征，存入向量库。第三层是文本索引：如果视频有字幕或ASR转写文本，按时间戳做倒排索引。

当问题进来时，先走文本索引缩小到相关镜头集合，再在候选镜头集合里做视觉检索，而不是全视频扫一遍。三层索引逐层缩小范围，整体检索时间可以控制在全量扫帧方案的十分之一以内。代价是离线构建索引需要额外存储和算力，但对"一次构建、反复问答"的场景（比如视频档案库、知识库问答）非常划算。

4.3 特征与证据缓存：一问多查时的复用策略

实践中最容易被忽略的效率杀手，是同一段视频被问多个问题时，反复进行特征提取和证据搜索。我在做过一个视频问答系统原型，它有十来个预置问题，如果每个问题都独立走一遍证据搜索，相当于同一段视频的特征被计算了十几次，完全是浪费。

解决方法是加一个两级缓存。第一级是特征缓存：视频的镜头索引、关键帧特征、字幕时间对齐结果，在首次处理时生成并缓存，后续所有问题共用。第二级是证据缓存：以"视频ID+问题锚点"作为缓存键，对于重复或相似的问题直接复用证据搜索结果，不再重新检索。加了这两级缓存之后，同一段视频的性能从"每问必算"变成"只算一次"，后续问题基本是读缓存加上推理器生成，响应延迟的改善非常明显。

需要注意，缓存机制要处理好版本失效问题。如果视频源被替换或特征提取模型升级，缓存必须能按版本号自动失效，否则旧特征配新模型，检索质量会劣化，而且你还发现不了。

4.4 与其他方案的效率对比

我把自己实际跑过的三套方案做了个对比，覆盖全量编码、固定窗口候选、显式证据锚定三个思路。下表是平均值，数字只反映相对趋势：

这里最值钱的提升其实不是延迟，而是上下文Token数。视觉Token是推理成本的大头，全量编码动辄大几千Token，而证据锚定只需要不到2000个。模型在短上下文里推理，注意力更集中，回答质量也更稳定。你省下的不只是算力，还有模型因为"看过太多无关信息"而分心的概率。

关于这一步，我有一个值得提醒的点：证据锚定方案的前期离线构建有成本，如果你只有几个问题、只跑一次，那全量编码反而是简单划算的；但如果问题数量多、或者是持续运营的系统，证据锚定的优势会随问答次数线性放大。

5. 评测体系与消融实验：怎样才算"有证据"比"没证据"强

5.1 三个自定义指标：证据命中率、答案-证据一致性、级联增益

要证明一条路线的价值，不能只靠"准确率涨了几个点"。我在项目里定义了三层评测指标，每一层回答一个不同的问题。

第一层指标是证据命中率（Evidence Hit Rate，简称EHR），它衡量的是"证据定位"这一步的质量。公式很简单：对每个问题，人工标注出正确答案实际依赖的视频区间集合S_GT，系统检索出的证据集合S_Pred，EHR = |S_GT ∩ S_Pred| / |S_GT|。注意这里用的是区间IoU而非完全吻合，比如真实事件在12到18秒，系统找到11.5到17.8秒，IoU大约0.86，算命中。EHR高但答案错，问题在推理器；EHR低，问题在证据搜索。

第二层指标是答案-证据一致性（Answer-Evidence Consistency，简称AEC）。它由人来判断：模型给出的答案是否真的能从它引用的证据中推导出来。我给三名标注者的标准是，如果答案里包含了证据中完全没有的信息，就标记为"不一致"。AEC衡量的不是"答案对不对"，而是"答案的论据站不站得住"。一个模型可能两个问题都答对了，但一个引用正确证据、一个凭记忆硬猜，它们的AEC差异会非常明显。

第三层指标是级联增益（Cascade Gain，简称CG），它回答"证据锚定相比直接问答到底涨了什么"。CG = 带证据推理的准确率 - 直接问答的准确率。这个指标需要你在同一批数据上跑两个基线：一条是标准的"视频+问题直接生成答案"，一条是你的"证据锚定+推理"，两者使用相同的基础模型，唯一变量是证据环节。这样算出来的增益才是干净的。

5.2 消融实验设计：去掉证据会发生什么

做消融实验时，我设计了三组对照，分享出来供参考。

第一组是"全证据配置"：证据搜索+精排+标注置信度+证据注入的完整管线。第二组是"去置信度"：把证据内容传给模型，但不给置信度字段。第三组是"去证据直接问答"：只给问题，让模型基于全量视频作答。每组用同样的100个问题跑五遍取平均，观察准确率和AEC的变化。

实验结果符合预期，但有一个数据点让我意外。去掉置信度之后，准确率下降了4.2%，这个可以理解；但AEC下降更明显，达到了11%，说明置信度不只是帮着选正确证据，它还在帮模型判断"该信哪条证据"，没有置信度时模型会随机采信，导致答案的逻辑链条不稳。这个发现让我后来在做产品功能时特别注意：如果业务方不需要展示置信度，也必须在内部保留这个字段，它影响的是推理质量而非展示效果。

"去证据直接问答"那组的结果更有说服力。准确率比完整管线低了13.7%，但有趣的是，直接问答的错误模式非常集中——大约一半的错误答案都发生在"需要精确时间定位"的问题上。这说明视频理解模型的核心短板就在于时间维度，而证据锚定恰好补齐了这个短板。

5.3 失败案例分析：什么情况下证据反而"带偏"了答案

评测过程中一定会看到失败案例，我把它们归成了三类。

第一类叫"证据选对了，但证据本身不够"：系统定位到了正确的时间区间，但该区间内画面模糊，或目标物体被遮挡，模型从视觉证据中读出的信息不足。这类失败说明证据锚定不是万能的，输入信息本身的缺失无法通过定位优化来弥补。

第二类叫"多义性证据"：同一个片段在不同问题下含义不同。比如一段风景视频，问"画面中有什么建筑"和"镜头运动是什么模式"，两个问题的答案分别依赖不同的视觉属性，但系统检索出的证据片段是同一段。推理器在这种场景下容易混乱，因为它同时接入了两个问题的证据，语义上互相干扰。这类问题的解法是把证据粒度从"时间区间"细化到"属性维度"，即每条证据标记它覆盖的视觉属性类型，检索时按属性类型匹配。

第三类最隐蔽，叫"证据引导过拟合"：模型因为太相信固定模板里的证据格式，在证据不足时强行从已有证据中"脑补"答案，反而不如直接问答时诚实。这是我在AEC曲线中发现的：引入证据锚定后，模型的整体AEC提升了，但"证据不足"类问题上的AEC反而下降了。后来我在prompt模板里改成明确要求"证据不足时必须拒绝回答"，并加入对比示例，把这个负向效应压了回去。

6. 落地场景、边界条件与下一步值得做的事

6.1 适合落地的三类场景

经过三个多月的开发和调试，我个人认为显式证据锚定最适合在三类场景落地。

第一类是安防与调查取证类的视频问答。这类场景天生要求答案可追溯，哪怕模型偶尔答错，只要能提供准确的证据片段让复核人员检查，整个流程依然是可用的。你甚至可以接受"模型给一个疑似区间+低置信度建议"，让复核人员快速定位可疑段，效率远超人力逐帧排查。

第二类是长视频知识库问答。比如教学视频、直播回放、会议记录，用户想知道"某个方法在第几分钟讲的""合同里关于违约金的部分在哪段视频里说的"，这种问题是典型的"强定位+弱理解"，证据锚定方案几乎不需要复杂推理，只要定位准确就能给出极佳体验。

第三类是端到端训练数据自动标注。利用证据锚定可以把"模型回答的可验证性"转化为"自动标注的置信度"：模型回答后，如果引用的证据与答案一致性强，就把这条样本自动标记为高置信度加入训练集；如果证据与答案不一致，标记为低置信度，送往人工清洗。用这套半自动流程，我给某个专项模型洗出了比纯人工标注便宜得多的训练数据。

6.2 边界条件：标注成本、证据时长约束、多义性问题

有必要诚实地列出这个方案的边界，避免有人盲目套用。

第一个现实约束是标注成本。EHR指标需要人工标注"正确答案对应的视频区间"，这个标注比传统分类标签贵不少，标注者需要看视频、拖进度条、切区间。如果你的场景没有预算做这一步，就不要追求完整的EHR评测，先用人工抽检代替，至少保证证据可验证这一步做对。

第二个约束是证据片段时长。证据时长短了，信息不足；长了，噪声进入。我在不同视频类型上观察到，不同领域的证据时长分布差异很大：动作类内容平均3到5秒就够，会议类内容可能需要10秒以上才能涵盖完整论点。所以不要用一个固定阈值打天下，要有按场景自适应的策略。建议先从人工标注的数据上统计证据时长分布，再设定该场景的参考阈值。

第三个约束是"多跳问题"的局限。如果一个问题需要跨越多个不连续的时间区间才能回答（比如"他先去了办公室再去会议室那段路上发生了什么"），单条证据锚定就不够用了。我目前的方案会把多段证据都注入推理器，效果尚可，但推理器需要处理多段时间线的关系，对模型能力要求高一些。

6.3 我打算继续试的三个方向

最近我在往三个方向继续推进这个工作，给同样在做这个方向的朋友一点参考。

第一个方向是做"证据的层级化"：不再把证据限制为一个连续时间区间，而是一个树状结构——粗粒度的事件层、细粒度的动作层、原始帧层。推理时可以按需向下钻取，比如先定位"进入房间"这个事件（粗粒度），再指定到"推门瞬间"（细粒度）。这个方向能解决多粒度问题，但工程复杂度也不小。

第二个方向是把证据锚定和主动学习结合起来：系统在证据不足时主动询问用户"你关心的是哪一类信息"，用用户的回答来细化锚点，而不是强行基于模糊的查询去检索。这在交互式问答场景里很自然，但要做成通用机制，还需要在意图识别上再下功夫。

第三个方向是更轻量的索引方案。目前三层索引仍然需要离线构建，对冷启动场景不友好。我打算试试用轻量时序特征做第一层索引，把冷启动成本压到最低，让"每个视频先能快速用起来、后台再慢慢构建全量索引"成为可能。

以我个人的体会，视频证据到推理这条路最打动我的地方，不是它在某个指标上刷了多少点，而是它把视频理解从一个"黑盒蹦答案"的问题，变成了一个"可定位、可复核、可迭代"的系统工程。之后你做的每个优化，都能明确知道是优化了证据还是优化了推理，而不是在模型内部瞎猜。