GTR: Gated Token Recurrence for Efficient Dense Prediction——用于高效密集预测的门控令牌递

论文提出了GTR（Gated Token Recurrence，门控令牌递归），一种用于高效密集预测的无 softmax 线性注意力视觉骨干网络。其核心目标是解决传统自注意力骨干在高分辨率密集预测中计算量随图像令牌数二次增长、难以在边缘设备部署的问题。以下是对全文主要研究内容的系统总结。

一、研究背景与核心问题

基于自注意力的视觉骨干（如 ViT、DINOv3）在密集预测任务上表现优异，但softmax 全局注意力的计算复杂度随图像令牌数呈二次增长，导致高分辨率处理成本急剧上升，尤其在资源受限的边缘设备上难以实用。线性注意力虽提供了线性复杂度的替代方案（如 EfficientViT、ViG），但现有工作仍难以同时满足：

• 在多种密集预测任务上保持一致的准确性；

• 在模型大小、计算、内存和延迟上满足实际约束；

• 将理论效率转化为边缘硬件上的实际收益。

因此，论文的核心问题是：线性注意力能否支撑一个通用视觉骨干，在多种密集预测任务中保持准确，同时在边缘硬件上实现实际效率增益？

二、主要贡献

论文的主要贡献可概括为三点：

1. 提出 GTR 骨干网络：一种单尺度、线性复杂度的视觉骨干，结合门控线性注意力（GLA）、四方向交替扫描和空间 SwiGLU，实现全局与局部空间建模的互补。

2. 验证通用性与可扩展性：GTR 在四种模型规模（S/M/L/X）和六种密集预测任务上均有效，且仅需简单的最终令牌蒸馏和任务特定适配。

3. 实现边缘部署：通过专用分块 CUDA 算子和 TensorRT 集成，在 DRIVE AGX Thor 上实现低延迟 FP16 推理。

三、方法核心

3.1 GTR 骨干架构

GTR 采用 12 层、步长 16 的单尺度架构，每层包含三个关键组件：

• 仅键门控递归（Key-only Gated Recurrence）：基于 GLA，维护固定大小的递归状态 St​，仅对键侧施加数据依赖的衰减门 γt​，值侧衰减固定为 1。该设计在保持线性复杂度的同时实现长程上下文聚合。

• 方向扫描（Directional Scanning）：由于递归沿扫描顺序因果，单次扫描仅捕获一个方向。GTR 在连续模块中循环四个方向（左→右、右→左、上→下、下→上），使令牌逐步接收互补的二维空间上下文。

• 空间 SwiGLU（Spatial SwiGLU）：在 SwiGLU 的值分支中引入 3×3 深度卷积，显式混合相邻 patch，提供非因果的局部空间交互，且不使用显式位置嵌入。

该设计使 GTR 在固定模型宽度下随令牌数线性扩展，递归状态大小恒定，内存仅随序列长度线性增长。

3.2 蒸馏策略

GTR 采用极简的最终输出表示对齐：

• 使用冻结的、检测专用的 DINOv3 教师模型；

• 教师和学生处理相同全图，产生空间对应的 patch 令牌；

• 仅对最终 patch 令牌施加平方 ℓ2​ 损失，经线性投影对齐维度；

• 无需掩码、无需中间层监督、无需注意力对齐。

实验表明，这种单阶段简单目标优于 ViT-Linearizer 和 ViT-AdaLA 等多阶段方法（50.7 AP vs. 50.0 / 48.2），而从零训练仅 31.1 AP。

3.3 硬件感知分块推理

为提升推理效率，论文开发了专用分块 CUDA 算子：

• 三阶段流程：并行计算块摘要 → 轻量级边界状态扫描 → 独立计算所有块输出；

• 融合张量核心数据流，块内因果分数直接从共享内存消费，避免全局内存物化；

• 长度感知调度：短序列使用回退核，长序列使用占用感知核重叠扫描与输出；

• 在 RTX 4090 上，1.6K 令牌时比 FLA v0.5.0快 4.0 倍，16.4K 令牌时快 6.4 倍。

四、实验结果

4.1 目标检测（COCO）

• GTR-L 在 Objects365 预训练下达到58.9 box AP，中位延迟仅1.908 ms（RTX 4090，FP16，批大小 1）；

• 在四个规模组中均取得最高整体 AP，GTR-L/X 同时提供最低中位延迟；

• 不使用 Objects365 预训练时，GTR-S/M/L/X 仍达 50.7/54.0/55.5/56.2 AP。

4.2 迁移任务

4.3 消融研究

• 空间建模：S-SwiGLU 替换位置嵌入在 768²/1024² 上提升 1.2/1.3 AP，FLOP 增加极小；

• 扫描方向：四方向扫描（55.5 AP）优于水平/垂直双向（55.1/55.0）和单方向（54.4）；

• 混合注意力：在 3/12 模块中引入 softmax 注意力准确率无显著提升（55.4–55.6 vs. 55.5），但延迟增加 9.7–11.0%，支持纯 GLA 设计；

• 分辨率缩放：640²→1280² 提升 AP 从 53.6 到 57.0，小目标增益 6.0 AP，延迟仅增 2.06 倍（令牌增 4 倍）；

• 检测器预训练：Objects365 预训练提升整体 AP 2.9，小目标 AP 5.3。

4.4 边缘部署（DRIVE AGX Thor）

• TensorRT 集成 + 图-核协同优化，六种任务、四种规模下批大小 1 延迟2.282–8.769 ms；

• 与 FP32 PyTorch 参考的余弦相似度0.9989–1.0000；

• 批大小 8 时 GTR-S 检测吞吐达571 图像/秒；

• Roofline 分析表明优化后接近 DRAM 带宽屋顶（89–141%），验证内存受限优化方向。

五、结论与意义

论文结论是：线性注意力可以作为密集视觉预测中 softmax 注意力的有效且高效替代方案。GTR 通过同构 GLA 架构、简单最终输出蒸馏和硬件感知推理优化，在六种密集预测任务和四种模型规模上实现了强大的准确率-效率权衡，并在汽车边缘硬件上展示了实时部署的实用性。

其核心意义在于：

• 架构层面：证明了纯线性注意力骨干无需混合 softmax 即可在多种密集预测任务中保持竞争力；

• 蒸馏层面：展示了极简的最终输出对齐即可有效跨架构迁移知识；

• 系统层面：通过专用 CUDA 算子和 TensorRT 集成，将理论线性效率转化为实际边缘部署的低延迟。

这里是自己的论文阅读记录，感兴趣的话可以参考一下，如果需要阅读原文的话可以看这里，如下所示：

官方项目主页地址在这里，如下所示：

项目地址在这里，如下所示：

摘要

基于自注意力的视觉骨干网络在密集预测任务上表现良好，但全局 softmax 注意力的二次计算成本限制了其随着图像分辨率增加时的效率。我们提出了门控令牌递归（Gated Token Recurrence, GTR），一种无 softmax 的递归视觉骨干网络，结合了门控线性注意力、交替空间扫描方向和空间增强的 SwiGLU 模块。GTR 通过仅使用最终层 patch-token 对齐（通过线性投影和平方 ℓ2​ 损失）从检测专用的 DINOv3 教师模型中进行蒸馏，无需掩码令牌预测或中间层监督。在 Objects365 检测器预训练下，GTR-L 在 COCO val2017 上达到 58.9 box AP，在 RTX 4090 上编译 FP16 执行下，批大小为 1 的中位延迟为 1.908 ms。同一骨干网络还可迁移至实例分割、姿态估计、旋转目标检测、语义分割和单目深度估计。在独立的核函数基准测试中，我们的专用分块 CUDA 算子在 RTX 4090 上 1.6K 令牌长度时比 FLA v0.5.0 快 4.0×。在 DRIVE AGX Thor 上的 TensorRT 部署在所评估模型中实现了 2.282–8.769 ms 的中位批大小为 1 的延迟。这些结果表明，递归令牌混合可以为高分辨率密集预测和边缘部署提供一种高效替代全局 softmax 注意力的方案。

1 引言

基于自注意力的视觉骨干网络在密集预测任务中表现出强大性能（Liu et al., 2026）。然而，softmax 注意力相对于图像令牌数量的二次复杂度使得高分辨率处理越来越昂贵，尤其是在资源受限的边缘设备上。线性注意力提供了一种有前景的替代方案：EfficientViT（Cai et al., 2023）展示了高效的端侧语义分割，而 ViG（Liao et al., 2025）探索了用于检测和分割的门控线性递归。尽管取得了这些进展，开发一种通用的线性注意力骨干网络，能够在多种密集预测任务中保持一致性能，同时满足模型大小、计算、内存和延迟方面的实际约束，仍然具有挑战性。这引出了一个核心问题：线性注意力能否支撑一个通用视觉骨干网络，在多种密集预测任务中保持准确性，同时将其理论效率转化为边缘硬件上的实际收益？

我们提出了门控令牌递归（GTR），一种线性复杂度（相对于图像令牌数量）的视觉骨干网络，旨在解决这一挑战。GTR 基于门控线性注意力（GLA）（Yang et al., 2024b），采用无 softmax 的单尺度递归架构。它在 12 个模块中保持固定的 patch 网格，每个模块执行一次方向扫描，在深度方向上循环四个方向以逐步聚合全局上下文。为了用显式的局部空间建模补充这种方向递归，我们引入了空间 SwiGLU（Spatial SwiGLU），它将深度卷积融入 SwiGLU（Shazeer, 2020）的值分支中，以高效地混合相邻 patch。方向递归和空间 SwiGLU 共同提供了互补的全局和局部空间建模，同时保持线性复杂度。

重要的是，GTR 使用单一的蒸馏目标，仅监督最终的 patch 令牌。与 ViT-Linearizer（Wei & Chellappa, 2025）结合中间激活匹配和掩码预测，或 ViT-AdaLA（Li et al., 2026b）在最终特征之前对齐注意力模块不同，我们的方法仅蒸馏最终的 patch 令牌。具体而言，GTR 使用相同的全图输入与冻结的、检测专用的 DINOv3 教师模型（Siméoni et al., 2025）对齐。一个线性投影和一个平方 ℓ2​ 损失构成了整个蒸馏目标，既不需要掩码也不需要中间监督。

GTR 在四种模型规模（S、M、L 和 X）上进行扩展，并迁移到六种密集预测任务：目标检测、实例分割、人体姿态估计、旋转目标检测、语义分割和单目深度估计。通过 Objects365 检测器预训练（Shao et al., 2019），GTR-L 在 COCO（Lin et al., 2014）val2017 上达到 58.9 box AP，在 RTX 4090 上编译 FP16、批大小为 1 的推理下，中位前向传播延迟仅为 1.908 ms。除检测外，GTR 在其余五项任务的代表性比较中，使用相同的骨干设计配合任务特定头和训练配方，取得了有竞争力的结果（第 3.2 节；附录 D）。如图 1 所示，随着输入分辨率的增加，GTR-S 相比基于 softmax 注意力的 EdgeCrafter-S（Liu et al., 2026）也表现出更慢的峰值 GPU 内存增长和更高的推理吞吐量，突显了线性复杂度注意力在高分辨率密集预测中的实际优势。

最后，我们通过专门的系统优化将架构效率与实际部署连接起来。我们为 GLA（Yang et al., 2024b）开发了一种专用的分块 CUDA 算子，它并行计算块摘要，同时通过边界状态扫描传播递归上下文。该算子在 RTX 4090 上 FP16 和 CUDA Graph 执行下，1.6K 令牌长度时比 FLA v0.5.0（Yang & Zhang, 2024）实现了 4.0× 的加速。对于 DRIVE AGX Thor 上的端到端部署，我们进一步将融合核函数和图变换集成到 TensorRT（NVIDIA, 2026）中。在六种任务和四种模型规模上，GTR 实现了 2.282–8.769 ms 的中位 FP16 批大小为 1 的延迟，展示了其在边缘硬件上进行实时密集预测的实用性。

总之，我们的主要贡献是：

• 我们引入了 GTR，一种用于高效密集预测的单尺度、线性注意力视觉骨干网络。GTR 将门控令牌递归与深度方向上的四方向扫描以及空间 SwiGLU 相结合，实现互补的全局和局部空间建模。

• 我们展示了 GTR 在六种密集预测任务和四种模型规模上的通用性和可扩展性。相同的骨干设计通过简单的最终令牌蒸馏和任务特定适配，有效地在目标级和像素级任务之间迁移。

• 我们通过专用的分块 CUDA 算子和 TensorRT 集成实现了实际的边缘部署。在六种任务和四种模型规模上，GTR 在 DRIVE AGX Thor 上实现了低延迟 FP16 推理，展示了在汽车边缘硬件上的低延迟部署。

2 方法

2.1 GTR 骨干网络

GTR 结合了三个组件：用于长程上下文的门控递归、用于二维上下文的方向扫描，以及用于局部空间混合的空间 SwiGLU。

2.2 蒸馏

图 3 展示了我们简单的最终特征蒸馏流程。我们使用 DINOv3 骨干（Siméoni et al., 2025），按照 EdgeCrafter（Liu et al., 2026）的方式适配检测任务，作为冻结教师。教师和 GTR 接收相同的全图，产生空间对应的 patch 令牌。我们仅监督最终的 patch 令牌表示，不使用掩码或中间层匹配。

损失在 patch 位置上取平均，排除非 patch 令牌。仅优化 GTR 和线性投影。这个简单的目标鼓励投影后的学生特征匹配教师的最终表示，同时允许 GTR 学习不同的内部计算。与使用掩码、中间监督或注意力对齐的方法不同，我们的蒸馏仅依赖最终 patch 令牌回归。附录 D.1.2 提供了教师分配、训练图像和优化细节。所得的 GTR 权重作为后续检测器预训练和任务特定训练的骨干初始化。

2.3 硬件感知分块推理

3 实验

在本节中，我们评估 GTR 在多种密集预测任务上的表现，并分析其关键设计选择。我们首先在目标检测上评估 GTR，然后将骨干迁移到另外五项任务：实例分割、人体姿态估计、旋转目标检测、语义分割和单目深度估计。每项任务使用任务特定的头、初始化和训练配方，详见附录 D。正文聚焦于近期有竞争力的方法，更全面的比较见附录 C。最后，我们对主要架构和训练选择进行消融。

3.2 迁移到其他密集预测任务

实例分割。在 COCO 上，GTR-S/X 分别达到 45.0/49.8 mask AP，在每个报告规模组中具有最高整体 mask AP（表 2 和表 8）。GTR-X 在 mask AP 和延迟上均优于 RF-DETR-Seg-X。GTR 在没有使用 †† 标记基线所用的 SAM2 伪掩码监督的情况下取得了这些结果。

人体姿态估计。在 COCO 关键点 AP 上，GTR-S/M/L/X 分别达到 70.1/74.1/74.7/75.5，在每个规模上均取得最高关键点 AP 和 AR（表 2 和表 9）。

旋转目标检测和语义分割。GTR 也能有效迁移到旋转目标检测和语义分割。在 DOTA-v1.0（Xia et al., 2018）上，GTR-X 达到 81.3 AP50，中位延迟低于 YOLO26x-obb（Jocher et al., 2026）（3.960 vs. 5.085 ms）。在 Cityscapes（Cordts et al., 2016）上，GTR-S/X 使用轻量级 FCN 头（Long et al., 2015）达到 81.5/83.6 mIoU。与 YOLO26-sem 相比，GTR 在较小规模上实现更高 mIoU，而 GTR-X 以低 19.5% 的延迟匹配 83.6 mIoU。所有规模的完整比较见附录 C.4 和 C.5。

单目深度估计。我们进一步在单目深度估计上评估 GTR，使用八个来源的测量和伪标签深度混合，无需 NYU 特定微调。在 NYU Depth V2（Silberman et al., 2012; Eigen et al., 2014）上，GTR 在两个规模上均比所评估的 YOLO26 深度变体（Jocher et al., 2026）提高了 δ1​、AbsRel 和 RMSE。如图 5 所示，GTR 在不同场景中也产生定性一致的深度预测。这些对齐的深度结果使用多视图测试时增强和逐图像对数仿射对齐到真实深度。完整结果和评估细节见附录 C.6 和 D.1.7。

3.3 消融研究与讨论

我们消融 GTR 的主要设计选择，包括蒸馏目标、空间建模、令牌混合器、输入分辨率和检测器预训练。所有检测结果在 COCO（Lin et al., 2014）val2017 上评估。对于架构消融，每个变体使用相同的教师和图像池独立蒸馏，然后进行相同的下游训练计划。完整设置和结果见附录 C.7。

蒸馏配方。表 3 在相同教师、GTR-S 学生和 COCO 训练计划下，将我们的最终输出对齐与 ViT-Linearizer（Wei & Chellappa, 2025）和 ViT-AdaLA（Li et al., 2026b）进行比较。对于 ViT-Linearizer，我们使用在 0.2–0.9 范围内扫描得到的最佳掩码率（0.5）。尽管我们的方法设计简单、目标单一，但仍达到 50.7 AP，优于 ViT-Linearizer（50.0）和 ViT-AdaLA（48.2），而从零开始训练仅达到 31.1 AP。这表明简单的最终输出对齐对于蒸馏 GTR 是有效的。

空间建模。表 4 显示，用 S-SwiGLU 替换学习的位置嵌入在 768x768/1024x1024 上分别提高 GTR-S 1.2/1.3 AP，仅增加 0.2（47.6 到 47.8）/0.5（83.2 到 83.7）GFLOPs。扫描方向提供了互补的收益：在 GTR-L 上，四方向扫描达到 55.5 AP，而水平/垂直双向扫描为 55.1/55.0，单方向为 54.4。此外，在单方向扫描下，用学习的位置嵌入替换 S-SwiGLU 进一步将 AP 降至 45.6。这些结果共同强调了局部空间混合的重要性，多方向扫描提供了额外收益。

GLA 与混合注意力。表 5 检验了添加 softmax 注意力是否对 GTR 有益。在 12 个骨干模块中的 3 个中用 softmax 注意力替换 GLA 产生相似的准确率（55.4–55.6 vs. 55.5 AP），但将中位延迟从 1.908 增加到 2.094–2.117 ms，计算量从 106 增加到 119 GFLOPs。所有变体具有相同的 37.2M 参数和 0.19 GB 峰值内存。因此，softmax 注意力没有提供有意义的准确率增益，同时引入了额外的计算和延迟，支持我们的同构 GLA 设计。

分辨率缩放。GTR-S 随输入分辨率有效缩放（表 6）。将分辨率从 640x640 增加到 1280x1280 将 AP 从 53.6 提高到 57.0，小目标 AP 增益更大，为 6.0APS（36.4 到 42.4）。同时，中位延迟从 1.225 增加到 2.529 ms，峰值内存从 0.096 增加到 0.249 GB。值得注意的是，尽管图像令牌增加了 4×，延迟仅增长 2.06×，展示了高分辨率输入的有利缩放。

DRIVE AGX Thor 上的边缘部署。高性能线性注意力核通常针对服务器 GPU 上的 LLM 设计，使用 Python/Triton 栈（Qwen Team, 2026; Team et al., 2025），而汽车部署需要在生产推理引擎内高效执行。我们通过图-核协同优化在 NVIDIA DRIVE AGX Thor 上使用 TensorRT（NVIDIA, 2026）部署 GTR：标准 TensorRT 算子与用于 GLA 和 S-SwiGLU 的融合 CUDA 核相结合，以减少核启动和全局内存流量，而不改变计算。这使得所有六种密集预测任务都能实现低延迟推理，同时在所有 48 种任务-规模-批次配置中保持与 PyTorch FP32 参考至少 0.9989 的余弦相似度。附录 E.1 提供了平台细节、Roofline 分析（Williams et al., 2009）和完整延迟结果。

4 结论

我们提出了 GTR，一种用于密集预测的高效无 softmax 骨干网络。GTR 将同构 GLA 架构与简单的最终输出蒸馏和优化的推理执行相结合。在目标检测和另外五项密集预测任务中，GTR 实现了强大的准确率-效率权衡，同时在 NVIDIA DRIVE AGX Thor 上的部署展示了其在汽车硬件上的实用性。这些结果表明，线性注意力可以作为密集视觉预测中 softmax 注意力的有效且高效的替代方案。

附录

A 相关工作

基于 Transformer 的目标检测。DETR（Carion et al., 2020）将目标检测表述为使用 Transformer 的集合预测，消除了对单独非极大值抑制（NMS）的需求。为了解决原始 DETR 的慢收敛和高计算成本，一系列后续工作被提出（Zhu et al., 2021; Li et al., 2022; Wang et al., 2022; Meng et al., 2021; Chen et al., 2023）。RT-DETR（Lv et al., 2024）引入了用于实时目标检测的混合编码器。在此框架基础上，D-FINE（Peng et al., 2025）通过细粒度分布细化和自蒸馏进一步增强检测性能。除了架构改进，一些研究探索将视觉 Transformer（ViT）（Dosovitskiy et al., 2021）纳入 DETR 框架。LW-DETR（Chen et al., 2024）采用自监督预训练的 ViT 作为骨干，而 RF-DETR（Robinson et al., 2026）将神经架构搜索与视觉基础模型 DINOv2（Oquab et al., 2024）相结合以增强特征表示。最近，EdgeCrafter（Liu et al., 2026）通过从 DINOv3（Siméoni et al., 2025）进行任务特定蒸馏来改进紧凑 ViT 骨干。

线性复杂度注意力。线性注意力分解核化注意力并利用结合性避免物化密集的令牌对令牌矩阵，将复杂度从 O(L2) 降低到 O(L) 并允许递归评估（Katharopoulos et al., 2020）。现代线性时间递归家族，包括 RetNet（Sun et al., 2023）、RWKV（Peng et al., 2023a）、Mamba（Gu & Dao, 2024）、DeltaNet（Yang et al., 2024c）和 GLA（Yang et al., 2024b），用保留、选择性、delta 规则更新或数据依赖门丰富递归状态，同时保留并行或分块训练形式。ViG（Liao et al., 2025）是最接近的架构先例：它将 GLA 适配到视觉，具有块内双向建模、方向门控和局部二维交互，并提供非分层和分层变体。其融合双向核也针对实际效率。GTR 每个模块使用一次扫描，在深度方向上交替方向，并在 SwiGLU 通道混合器中引入局部混合。我们将这些选择与检测专用蒸馏配方和任务特定部署一起评估。

混合方法如 MambaVision（Hatamizadeh & Kautz, 2025）和 SoLA-Vision（Li et al., 2026a）将递归或线性混合器与 softmax 注意力相结合。我们的混合消融测试了 GTR-L 中三种 softmax 层放置。基于核的视觉替代方案包括 Laplacian-Former 的低秩拉普拉斯注意力（Feng et al., 2026）。GTR 建立在已建立的 GLA 递归和分块公式（Yang et al., 2024b）之上，并贡献了一个融合的、硬件感知的执行调度，用于低延迟推理。

异构表示蒸馏。跨架构迁移通常使用多个阶段或互补目标来桥接不同的令牌混合器。ViT-Linearizer 结合多个深度的中间令牌亲和匹配与掩码位置上最终教师特征的 Smooth-ℓ1​ 预测（Wei & Chellappa, 2025）。ViT-AdaLA（Li et al., 2026b）首先用 MSE 匹配每个 softmax 和线性注意力模块的输出，然后用 MSE 对齐完整模型的最终表示，最后进行监督下游微调。Attention to Mamba（Moudgil et al., 2026）首先通过逐层余弦输出匹配学习 Hedgehog 特征图，用它初始化适配的 Mamba 模型，然后用下一令牌交叉熵微调模型。相关的 Transformer 到 SSM 研究同样使用分阶段转换或额外的架构特定目标（Bick et al., 2024; 2025; Wang et al., 2024c）。在这里研究的检测专用 DINOv3 到 GLA 设置中，我们使用最终输出表示上的单一平方 ℓ2​ 损失，没有中间或阶段特定蒸馏目标，也没有输入掩码。

B GTR 架构细节

B.1 多尺度特征编码器

B.2 基于查询的检测解码器

C 完整实验结果

正文使用代表性检测器家族或模型规模以保持定量呈现简洁。本节报告我们分析中使用的完整比较，包括 COCO 目标检测、实例分割和人体姿态估计、DOTA-v1.0 旋转目标检测、Cityscapes 语义分割和 NYU Depth V2 上的真实深度对齐单目深度。

C.1 完整 COCO 目标检测比较

准确率-延迟比较。表 7 用更广泛的 CNN 和 Transformer 检测器、模型复杂度、所有三个延迟统计量以及尺度特定 AP 扩展了正文比较。使用 Objects365 预训练，GTR-S/M/L/X 在所有四个规模组中均达到最高整体 AP，分别为 53.6/57.3/58.9/59.4 AP。GTR-L 和 GTR-X 在其组中也提供最低中位延迟。不使用 Objects365 预训练，GTR-S/M/L/X 在相同尺度特定 COCO 配置下达到 50.7/54.0/55.5/56.2 AP。

C.2 完整 COCO 实例分割比较

表 8 给出了完整的 mask 指标细分。GTR 在每个报告规模组中具有最高整体 mask AP。GTR-X 在 mask AP 和延迟上均优于 RF-DETR-Seg-X。GTR 在没有使用 † 标记基线所用的 SAM2 伪掩码监督的情况下取得了这些结果。

C.3 完整 COCO 人体姿态估计比较

表 9 用 RTMO、YOLO11-Pose 和 ED-Pose 补充了代表性正文比较，其中相应模型规模可用。在这个更广泛的比较中，GTR 在每个规模上均达到最高关键点 AP 和 AR。

C.4 完整 DOTA-v1.0 旋转目标检测比较

C.6 完整 NYU 深度估计比较

表 12 报告了所有四个评估的 YOLO26/GTR 规模和 ZipDepth（Tosi et al., 2026）。在每个规模上，GTR 在 δ1​、AbsRel 和 RMSE 上均优于相应的 YOLO26 深度变体，同时使用更少 GFLOPs。GTR-X 还将中位延迟从 2.730 降低到 2.158 ms。

ZipDepth 在与 YOLO26 和 GTR 相同的填充真实数据上重新评估，得到 δ1=0.919、AbsRel =0.091、RMSE=0.385。原始 ZipDepth 论文在其自己的评估协议下报告 δ1=0.933 和 AbsRel =0.084。

C.7 详细消融结果

空间机制。表 13 比较了 S-SwiGLU 与学习的位置嵌入。S-SwiGLU 在两种分辨率下均提高整体 AP，FLOP 增加很小。

扫描调度。表 14 报告了所有评估扫描调度的 GTR-L 结果。四个方向产生最高整体 AP。单方向比较显示，移除 S-SwiGLU 时的变化大于减少扫描方向数量时。

混合注意力。表 5 在早期、均匀或晚期位置用 softmax 注意力替换三个骨干模块中的 GLA。混合使用 FlashAttention-2（Dao, 2024）。它们将 GFLOPs 从 106 增加到 119，中位延迟增加 9.7–11.0%，而整体 AP 保持在纯 GLA 的 0.1 以内。报告的内存值在显示精度下一致。

分辨率缩放。表 6 报告了使用 Objects365 预训练检测器初始化（Shao et al., 2019）的完整 GTR-S 扫描。大部分准确率增益发生在小目标和中目标上。批大小为 1 的速率计算为中位延迟的倒数。

检测器预训练。表 15 给出了 GTR-S 在使用和不使用 Objects365（Shao et al., 2019）检测器预训练时的指标细分。整体 AP 增加 2.9，小目标 AP 增加 5.3。相应的四规模结果见表 7。

D 实验细节

数据集和指标。对于主要检测器比较，我们报告 GTR 在 COCO（Lin et al., 2014）train2017 微调之前使用和不使用 Objects365（Shao et al., 2019）检测器预训练。我们在 COCO val2017 上评估 AP，IoU 阈值从 0.50 到 0.95 平均，以及 AP50AP50​、AP75​ 和小、中、大目标的 AP。我们报告检测的 box AP 和实例分割的 mask AP。对于迁移评估，我们报告 COCO val2017 上的标准关键点 AP 和 AR，以及 DOTA-v1.0 测试集（Xia et al., 2018）上旋转目标检测的 AP50​。

训练协议。所有模型在八个 NVIDIA A100 GPU 上训练。对于主要比较，S/M/L/X 骨干使用相应的蒸馏 GLA 检查点初始化，然后在 Objects365 上预训练完整检测器 36 个 epoch，全局批大小为 128。

然后我们以全局批大小 32 训练所有四个 GTR 规模 30 个 epoch。直接 COCO 变体从输出对齐骨干开始，其他方面使用与其 Objects365 预训练对应物相同的尺度特定 COCO 微调配置。Objects365 和 COCO 阶段使用 AdamW（Loshchilov & Hutter, 2019）配合 flat-cosine 学习率计划和指数移动平均；评估使用 640×640 输入。附录 D.1 报告其余尺度特定学习率、增强、损失权重和模型配置。

效率评估。我们在单个 NVIDIA GeForce RTX 4090 上以统一的 FP16、批大小为 1 的环境重新测量每个检测和分割模型。表 7 和表 8 报告最小、算术平均和中位每图像延迟；所有比较使用中位数。编译、图捕获、自动调优和预热不计入计时。对于 DETR 风格模型，测量的延迟仅覆盖网络前向传播；对于需要 NMS 的 YOLO 变体，还包括 CUDA NMS。由于部署转换、输入分辨率和后处理在不同模型家族间不同，完整协议在附录 E.2 中规定。

D.1 训练配置

D.1.1 架构配置

所有 GTR 变体采用 12 层、步长 16 的 GLA 骨干，并从中间层提取多尺度特征。如表 16 所总结，解码器深度、对象查询数量和训练查询组数在不同规模间保持固定。从 GTR-S 到 GTR-L，嵌入维度和 GLA 头数从 192/3 增加到 384/6。GTR-X 保留 GTR-L 的令牌混合宽度，同时将 S-SwiGLU 扩展比从 4 增加到 6，解码器 FFN 维度从 1,024 增加到 2,048。

D.1.2 最终输出表示对齐

教师配置。遵循 Liu et al. (2026)，ECTeacher-S 和 ECTeacher-B 分别通过在 COCO train2017 上微调预训练的 DINOv3-S 和 DINOv3-B 在 ECDet-L 和 ECDet-X 中获得。ECTeacher-S 监督 GTR-S，ECTeacher-B 监督 GTR-M/L/X。在蒸馏期间，适配的教师骨干被冻结，并在公式 2 中提供最终 patch 令牌目标。

蒸馏数据。遵循 EdgeCrafter（Liu et al., 2026），图像池结合 ImageNet1K（Deng et al., 2009）和 COCO（Lin et al., 2014）train2017。

学生优化。我们采用 Peng et al. (2023b) 的优化配方，无需额外超参数调优。GTR-S/M 使用 Small/Base 预设，GTR-L/X 使用 Large 预设。如表 17 所示，所有变体训练 300 个 epoch，使用 AdamW 和全局批大小 2,048。GTR-L/X 使用更长的预热（20 vs. 10 epoch）和更高的 drop-path 率（0.2 vs. 0.1）；所有其他优化和增强设置共享。

图 6 比较了 GTR 与代表性跨架构方法（Wei & Chellappa, 2025; Li et al., 2026b; Moudgil et al., 2026; Bick et al., 2024）的监督结构。GTR 的单阶段在此指一个表示蒸馏阶段；教师准备和下游监督训练保持独立。

D.1.3 Objects365 预训练

D.1.4 COCO 微调

对于 Objects365 预训练后的 COCO 微调，我们加载完整检测器检查点，但分类头除外。如表 19 所示，30 epoch 计划、全局批大小和基础学习率在不同规模间固定。所有变体在 train2017 上训练，在 val2017 上评估。

D.1.5 人体姿态估计

对于人体姿态估计，我们仅从 COCO 检测检查点初始化 GTR 骨干，从零开始训练所有姿态特定参数。训练协议总结在表 20 中。所有变体使用 AdamW、基础学习率 5×10−4、全局批大小 32，以及相同的增强概率和损失权重。

D.1.6 语义分割

表 21 列出了共享的 30 epoch、批大小 8 的计划和尺度特定骨干学习率。报告的任务准确率使用滑动窗口推理，而延迟测量一次固定大小的网络调用。

D.1.7 使用多样训练数据的单目深度估计

对于单目深度估计，我们仅从预训练骨干检查点初始化 GTR 骨干，从零开始训练所有任务特定参数。

训练来源和数据获取。我们采用与 YOLO26（Jocher et al., 2026）深度训练相同的八源训练混合，包括 ARKitScenes（Baruch et al., 2021）、SUN RGB-D（Song et al., 2015）、DIODE（Vasiljevic et al., 2019）、Hypersim（Roberts et al., 2021）、TartanAir（Wang et al., 2020）、Virtual KITTI 2（Cabon et al., 2020）、KITTI（Geiger et al., 2013）和伪标签 ImageNet（Deng et al., 2009）。为了减少存储和带宽开销，我们采用源特定的获取策略。对于 Hypersim，我们仅下载 tonemap.jpg 和 depth_meters.hdf5 文件，而不是完整的 1.9 TB 发布，将本地存储占用减少到约 11 GB。对于 KITTI，我们使用批量 HTTP range 请求检索原始存档，仅保留彩色相机流，丢弃 Velodyne 点云、灰度图像和 OXTS 记录。这将传输的数据量减少约 75%。

采样和增强。测量深度数据集的大小相差超过一个数量级，从 SUN RGB-D 的约 10K 图像到 TartanAir 的超过 300K。为了缓解这种不平衡，我们使用整数重复因子对每个数据集过采样，按数据加载器顺序使用 [6,3,2,2,2,1,3]。伪标签 ImageNet 池从单独的采样流中抽取，因此其与测量深度数据的比率可以独立控制。对于增强，我们仅保留 Depth Anything V2（Yang et al., 2024a）的度量深度保持变换：颜色抖动、水平翻转、保持宽高比的短缺设计设计和随机方形裁剪。基于组合的几何增强如 Mosaic、ZoomOut 和 IoUCrop 被禁用，因为它们改变图像尺度与度量深度之间的关系，从而破坏几何一致性。

我们为每张图像单独计算每个指标，并报告所有 654 张测试图像的算术平均。此协议遵循 YOLO26（Jocher et al., 2026）。第 3.2 节报告定量比较，附录 F.5 提供室内和室外基准上的额外零样本结果。

表 22 给出了混合数据深度计划。四个模型共享 30 epoch 持续时间和批大小 256，而 L/X 骨干学习率低于 S/M。上述真实深度对齐仅在计算报告的 NYU 评估指标时应用。

D.1.8 旋转目标检测

对于旋转目标检测，我们仅从预训练骨干检查点初始化 GTR 骨干，从零开始训练所有任务特定参数。

E 效率和可复现性细节

E.1 DRIVE AGX Thor 部署

平台和执行路径。表 24 指定了设备上环境。面向 Thor 的算子为 sm_110 编译并集成到 TensorRT；它们与附录 E.3 中基准测试的 sm_89 PyTorch 扩展 GLA 算子是不同构建。

Roofline 分析。图 7 说明了优化内存流量而非峰值计算的原因。在六种任务和四种模型规模上，绘制的基线和优化点远位于 1,032 FLOP/byte 脊点左侧，接近带宽屋顶，与 Thor 上的内存流量限制一致。与 TensorRT 基线相比，我们的图变换和融合 CUDA 核通过消除中间内存流量将操作点向上和向右移动。优化模型达到标称 DRAM 屋顶的 89−141%；高于 100% 的值与绘制流量模型下的片上重用兼容。

部署结果。表 25 和表 26 报告了完整的 TensorRT 测量。在批大小为 1 时，延迟在所有任务和模型规模上范围为 2.282 到 8.769ms，而 FP16 TensorRT 输出与其 FP32 PyTorch 参考之间的余弦相似度始终很高，范围为 0.9989 到 1.0000。将批大小增加到 8 将 GTR-S 检测的峰值吞吐量提高到 571 图像/秒。对于 1024×1024 旋转检测和语义分割工作负载，批大小为 1 的推理提供比批大小 8 更高的吞吐量，与图 7 中识别的内存受限状态一致。

E.2 GPU 延迟测量协议

E.2.1 硬件、软件和部署

我们的协议在统一的部署、编译和执行管道下测量稳态 GPU 延迟。模型前向传播测量使用单个 NVIDIA GeForce RTX 4090 GPU，Python 3.11、PyTorch 2.11.0+cu128、torchvision 0.26.0+cu128 和 CUDA 12.8。我们全程使用批大小 1 和 FP16 精度。

对于目标检测，RF-DETR-S/M/L/X（Robinson et al., 2026）在其发布的原生分辨率 512/576/704/700 下评估；非单调的 L/X 分辨率遵循官方模型配置。所有其他检测器使用 640×640 输入。对于实例分割，RF-DETR-Seg-S/M/L/X 分别使用其原生分辨率 384/432/504/624，而所有其他模型使用 640×640 输入。

在编译之前，我们调用官方 deploy()、export() 或 fuse() 例程（如果可用）以应用部署转换和 Conv-BN 融合。对于没有显式部署接口的实现，启用 TorchInductor 冻结。每个模型使用 torch.compile(mode="max-autotune", fullgraph=True) 编译，并通过 CUDA Graph 执行。fullgraph=True 约束防止图中断或设备同步静默导致回退到 eager 执行。

Profiler 轨迹确认每个稳态前向传播恰好发生一次 CUDA Graph 启动，没有 GPU 到 CPU 标量同步或设备到主机传输。官方 RF-DETR（Robinson et al., 2026）和 LW-DETR（Chen et al., 2024）实现使用 GPU 常驻形状标量和张量断言，阻止完整图编译。我们将这些操作替换为编译时形状常量，产生逐位相同的输出。编译、自动调优、图捕获和预热不计入所有报告的测量。

E.2.2 计时范围和后处理

对于 DETR 风格模型，我们仅测量前向传播，排除输出解码和后处理。对于 YOLOv9（Wang et al., 2024b）、YOLO11（Jocher, 2024）和 YOLOv12（Tian et al., 2025），报告的延迟包括前向传播和使用 torchvision.ops.nms 实现的 CUDA NMS。我们使用 conf=0.001、iou=0.7、multi_label=True、agnostic=False 和 max_det=300。

由于 NMS 成本取决于候选框数量，这些模型在 COCO（Lin et al., 2014）val2017 的所有 5,000 张图像上评估。YOLOv10（Wang et al., 2024a）和 YOLO 模型预热 200 次前向迭代。YOLO11 和 YOLOv12 额外接受 30 次预热迭代，覆盖完整预测和 NMS 管道。YOLOv9 不使用单独的 NMS 预热；其一次性 NMS 初始化成本在 5,000 张图像上平均后可忽略不计。所有其他检测和分割模型预热 300 次迭代。

延迟使用默认流上的 CUDA 事件测量，GPU 其他方面空闲。每个模型在独立进程中基准测试一次。表 7 报告最小、算术平均和中位每图像延迟。我们对所有模型比较使用中位数。

E.3 自定义 CUDA 算子

E.3.1 实现细节

除了核调度，部署接口支持持久调用者管理的工作区、预分配输出缓冲区和 CUDA Graph 捕获。在端到端 GTR 实现中，输出尾声进一步将 RMSNorm 和 SiLU 激活的输出门——不同于后续的 S-SwiGLU 通道混合器——直接融合到 GLA 核中，消除一次核启动及其中间全局内存往返。此尾声融合不包括在图 4 的独立算子测量中。

F 定性结果

我们展示目标检测、实例分割、人体姿态估计、语义分割、零样本单目深度估计和旋转目标检测的定性结果。COCO 示例包括遮挡、低光照、运动模糊、散焦、物体旋转和拥挤场景。额外的迁移示例使用 Cityscapes（Cordts et al., 2016）用于语义分割，DTU Robot Image Data Set（Jensen et al., 2014）用于室内深度，nuScenes（Caesar et al., 2020）用于室外深度，DOTA-v1.0（Xia et al., 2018）测试集用于旋转目标检测。

F.1 目标检测结果

检测行为。图 8 展示了 GTR-X 在拥挤和遮挡、运动模糊、物体旋转和低光照下的选定预测。在这些示例中，尽管外观严重退化，模型仍能定位小目标和重叠实例。

F.2 实例分割结果

掩码质量。图 9 在与图 8 相同的挑战性图像上可视化 GTR-X 掩码。选定的预测遵循可见物体轮廓并分离相邻实例；与表 8 一起，它们说明了输出对齐表示向实例分割的迁移。

F.3 人体姿态估计结果

姿态行为。图 10 中的选定案例展示了 GTR-X 在拥挤、低光照和运动模糊下为多个重叠人物预测关节姿态。

F.4 语义分割结果

密集语义预测。图 11 将 GTR-X 预测与 Cityscapes 真实标注进行比较。

F.5 零样本单目深度估计结果

我们将 GTR-L 应用于室内 DTU 和室外 nuScenes 图像，无需数据集特定微调。

F.5.1 室内 DTU 结果

投影参考深度。对于这些示例，DTU 提供校准点云几何而非密集逐视图深度图。因此，我们使用提供的内参和校准姿态将点云通过每个相机投影来构建参考深度。所得参考图平均覆盖 67.9% 像素；缺失支持集中在背景织物（未被结构光捕获）和镜面表面。图 12 比较了 RGB 输入、GTR-L 预测和投影参考。

基于深度的重建。图 13 可视化了从每个 DTU 物体的所有 49 个校准视图获得的重建。由于单张图像不能几何确定绝对深度尺度，独立跨视图预测的深度图可能表现视图相关尺度漂移。在融合之前，我们因此使用单个标量对齐每个预测深度图的尺度，该标量计算为有效像素上投影结构光参考深度与预测之间的中位比率。这种逐视图重新缩放保留每个视图内的相对深度结构，仅校正其全局尺度。

然后我们使用校准相机内参和外参反投影重新缩放的深度图，将所有 49 个视图融合到具有 2-mm 体素的 TSDF（Curless & Levoy, 1996）体积中，并将所得表面渲染为彩色点。由于结构光参考为每个视图提供一个全局尺度因子，这些重建说明了参考辅助尺度校正后的几何。

F.5.2 室外 nuScenes 结果

环视深度。图 14-16 显示了三个 nuScenes 场景中六个同步环视相机的 GTR-L 预测。每个图在 RGB 网格和相应深度网格之间保持相机顺序，覆盖白天、夜间和路边施工图像，无需 nuScenes 特定微调。

时间融合局部地图。为了可视化多帧几何一致性，对于每个参考时间 t，我们聚合 [t−4s,t+4s]内的所有可用帧。对于每帧，我们使用从相应 LiDAR 测量估计的单个标量对 GTR-L 深度预测进行尺度对齐，使用相机内参反投影校正后的深度，并使用校准姿态将所得点变换到共同坐标系。然后我们使用 TSDF（Curless & Levoy, 1996）融合所有观测以获得局部地图。图 17 和 18 显示了来自透视和鸟瞰视图的两个示例。由于 LiDAR 仅用于逐帧尺度对齐，这些结果在尺度校正后定性说明了几何一致性。

F.6 旋转目标检测结果

旋转定位。图 19 显示了 DOTA-v1.0 测试图像中的 GTR-X 预测。旋转框跟踪各种角度的船舶和车辆，并在密集港口和道路场景中保持分离，补充了表 10 中的定量结果。