其亮点之处在于, 一边留存扩散模型那具备真实感的生成能力, 一边尽可能地去满足在线仿真的效率方面需求。常规来说视频扩散模型计算产生的成本实在太高, 而普通图像增强模型又极容易出现帧间闪烁的状况；所以论文对多步扩散模型进行了转型使之成为具有确定性的单步增强器, 并且添加进入时间条件来。
与此同时, 作者另外设计了专门的数据构建流程, 合成出外观协调的数据, 合成出伪影修复的数据, 合成出重光照的数据, 合出阴影生成的数据, 合成物体重新插入的数据, 使得那个模型能够学会处理颜色不一致这类问题, 使得能够学会重建错误这类矛盾, 使得能够学会光照不真实这类状况。
在整体方面来看, 这篇论文将神经重建仿真, 从那种能够渲染出场景的程度, 推进到了能够生成更加接近真实世界的在线仿真画面的程度。它所具备的价值并非仅仅是让画面变得更好看, 而是在于让基于真实数据重建的仿真环境, 变得更加可信, 变得更加稳定, 并且也更加适合大规模训练以及评测。
当仿真环境变得越发真实、越发可控以后, 训练出的驾驶模型能否在闭环里稳定执行, 这又依赖于专家示范与学生模型之间是否切实对齐。德国图宾根大学、图宾根人工智能中心、英伟达研究院以及德国“人工智能科学”卓越集群一起完成了《LEAD: - in End-to-End 》研究, 该研究探讨的是端到端自动驾驶里的模仿学习问题。
尽管仿真器能够生成数量众多的驾驶数据, 然而经由专家轨迹训练而成的学生模型, 在进行闭环驾驶期间依旧易于出现不稳定的状况, 其核心根源在于专家与学生之间存有显著的信息不对称现象。专家常常具备更为强大的“上帝视角”, 而学生模型在开展测试时仅仅能够依赖车载传感器的输入内容以及有限的导航信息, 所以极难可靠地模仿专家的行为。
LEAD的关键并非只是单纯去换一个更大些的模型, 而是要以一种系统性的方式去缩小 -。作者将这种差距划分成了两类: 其中一类是state, 也就是那些专家所看到的信息跟学生实际能够看到的信息并不一致；另一类是 , 也就是学生在进行测试时仅仅拿到了一个目标点, 其导航意图太过模糊。
论文地址：
就这些问题而言, 论文针对专家生成方式作出了修改, 针对学生输入予以了调整, 针对导航目标表达进行了变动, 针对训练数据监督加以了改进, 使得学生所学到的驾驶策略更趋于贴近自身在真实测试时能够执行的行为。
该项研究, 它并未将端到端自动驾驶的失利, 单纯归结于模型的容量欠缺之处, 而是点明了模仿学习里较为根本的训练偏差:
要是存在专家示范依靠学生所看不到的信息这种情况, 即便学生学得极为相像, 然而也说不定会在闭环当中出现错误。凭借着对可见性差异、不确定性差异以及导航意图差异予以减少, 有着论文训练出现的v6（TFv6）, 于多个公开的CARLA闭环之上收获了全新的最佳成果, 就像在某方面达成了95DS, 并且在v2以及某方面超越了以往方法两倍还要多。
纵观全局，这篇论文针对端到端自动驾驶里的模仿学习问题, 把“怎样让学生更优地模仿专家”这一情况, 推进至“怎样让专家示范契合学生真实能见到、可施行的状况”。
此外, 论文把感知监督整合进了sim-to-real流程, 并且于和Waymo -Based End-to-End上带来了稳定提升, 这表明这种对齐思路对真实世界数据下的端到端驾驶泛化也是有帮助的。
要是讲LEAD留意专家和学生之间的信息对齐情况, 那么《 》就更进一步将自动驾驶的输入源头从车载传感器延伸至外部空间记忆。
论文是由复旦大学可信具身智能研究院、上海交通大学、中国科学院空天信息创新研究院目标认知与应用技术重点实验室、中国科学技术大学一起提出的, 其研究的是自动驾驶里的一个新思路, 现有自动驾驶系统主要依靠车载摄像头、激光雷达、IMU等等实时传感器去感知环境, 然而这种方式十分容易受限于当下视野。
若是碰到遮挡情况, 或是处于夜晚时段, 又或者遭遇雨天状况, 再者是视距不足之时, 模型便兴许没法看清道路结构呵。人类驾驶员要是处于此种状况之下的话, 往往会靠着对道路布局的那般记忆去继续做判断, 而这篇论文, 期望给自动驾驶模型也添上类乎那样的“空间记忆”能力。
论文所提的核心范式称作 , 此范式是依据车辆当下所处位置去检索离线地理图像, 像卫星图、街景图或者已有自动驾驶数据集中的地理图像, 且将这些图像当作额外输入给予自动驾驶模型。
论文地址：
那些信息无需增添新生的可用于车辆的传感器, 它们能够从处于离线状态的地图缓存或者公开的地图应用程序编程接口里面获取, 所以它反倒更加好似是一种能够进行插拔操作的外部空间预先存在的经验知识。论文还对数据集做了扩展, 借助地图应用程序编程接口去检索地理方面图像, 并且把这些图像和车辆自身的轨迹进行对齐, 从而形成一种数据, 进而用来对这个空间检索典范范例进行系统评估。
它所具备的亮点之处在于, 并非仅仅是对某一个自动驾驶模块作单纯的提升 , 而是将地理检索得来的信息接入到诸多核心任务当中。论文针对3D目标检测 、在线地图构建 、占用预测 、端到端规划以及生成式世界模型确立的基线 , 并且设计出了具有可插拔性质的 , 用以把检索获取的地理图像融合到现有的模型里面。
与此同时, 论文还进行了引入, 依据检索信息自身的可靠性, 来依照情况自适应确定该信多少、用多少, 以此防止错误或者不匹配的地理信息, 对驾驶模型造成干扰。
考量从项目页给出的结果而言, 所谓空间检索信息于多个任务里均能够带来提升, 呈现于生成式世界模型当中之际, 加入地理图像是能够降低FVD以及FID的, 能够减少场景漂移并且保持几何一致性的；于在线地图构建之时, 额外道路背景信息对还原那已然被遮挡的车道线有所助益。
于占用预测里面, 地理先验特别有助于提高静态类别以及地面区域的预测, 在端到端规划当中, 地理先验能够弥补遮挡或者低光条件下的感知失败, 并且在夜间复杂场景中将碰撞率由0.55%降低至0.48%。
02
从看见运动到学会行动
自动驾驶系统要理解动态场景, 其中更基础的视觉能力之一, 是在视频里稳定追踪点, 稳定追踪物体, 稳定追踪运动轨迹。《: by of 》是由牛津大学视觉几何组与Meta AI共同提出的。
正在研究的对象是视频里的 dense point, 这指的是于一段视频当中追迹任意像素点依照时间变动的轨迹, 此任务对于视频理解来说很重要, 对于机器人操作而言也很重要, 对于光流估计来讲同样很重要, 然而现有的诸多方法依靠 cost 去做跨帧特征匹配, 计算复杂度会伴随图像分辨率呈现平方级增长的态势, 所以在高分辨率的场景里很难实现高效扩展, 在长视频的场景中很难达成高效扩展, 在密集点追踪的场景中也很难做到高效扩展。
其核心思路乃运用 替代传统的, / cost。该模型不会于整张图里进行暴力搜索众多候选匹配 , 而是先去维护每个点当前位置之估计 , 接着依据此估计将目标帧特征反向 warp 至查询帧附近 , 随后由 - 联合更新轨迹 、可见性以及置信度。简而言之 , 它并非 “到处寻觅这个点处于何处 ” , 而是 “先猜测一个位置 , 再不断把特征对齐并予以修正 ”。
论文地址：
具备这样的亮点, 它将密集点追踪予以更为简便地达成, 达成得更为高效, 并且达成得更易于延展至高分辨率视频。 无需进行显式的cost计算, 然而却能够借助空间注意力以及时间注意力, 同时对同一帧里各异的点之间的关系予以建模, 以及针对同一个点在长时间序列里的运动变化予以建模。所以它能够处理长距离运动、大视角变化、遮挡以及重新出现等复杂状况, 并且还能够输出每个点的轨迹、可见性以及置信度。
看结果情形, 于TAP - Vid - DAVIS、TAP - Vid -和等密集点追踪方面展现出极强实力, 项目页面给出的平均结果包含Mean AJ 71.3、Mean δ_avg 81.8、Mean OA 93.3, 此高于3和等方法。
更有意思的是, 同一个模型, 在不专门训练光流数据的情形下, 也能够在, 诸如、KITTI - 2015和等光流, 上面取得具备竞争力的结果, 举例来说, 在和KITTI上的EPE, 分别达成了0.78和1.04。
从整体上进行打量思考, 这篇论文将密集点追踪, 从对昂贵相关匹配的依赖状态, 往前推进到了基于迭代以及时空推理的统一框架之中, 并且还表明dense 和 flow 有机会运用同一种架构来进行处理。
先是从“追踪运动”持续往前推进, 接着这便是要让模型依据视觉输入直接作出动作决策。《: An Open Model for 》是由英伟达、斯坦福大学、加州理工学院、芝加哥大学以及德克萨斯大学奥斯汀分校共同完成的。
论文所研究的, 是对标游戏环境的通用智能体基础模型, 那所谓的基础模型, 是这般的情况, 即要让一个模型, 可以处在不同类型环境, 以及不同机制的游戏里头, 依据画面观察, 从而直接输出游戏手柄的动作, 并非仅仅针对某一个游戏去单独开展训练。
作者觉得, 具身智能长时间缺乏视觉和语言模型那般的大规模预训练数据, 强化学习即便能在个别游戏里收获很强效果, 可常常依赖专门模拟器以及高成本训练, 现有行为克隆方法却受困于昂贵的人类示范数据，难以拓展到大量游戏。
利用公开视频里的游戏手柄, 将其作为核心思路, 以此来自动恢复玩家操作, 进而构建大规模“视频—动作”数据集。 许多游戏视频里会在画面角落实时显示玩家按键以及摇杆输入, 首先要定位并且裁剪这些手柄区域, 接着运用模型解析摇杆位置以及按键状态, 最后从公开游戏视频当中提取逐帧动作标签。
作者借助这种方式, 整理出了约4万小时的数据, 该数据覆盖1000多款游戏, 并且在此基础之上, 训练了统一的, 通过画面观察来进行预测的, 东西！
论文地址：
它的亮点是, 将互联网上原本仅是“供人观看的游戏视频”, 转变为能够用于训练智能体的动作监督数据, 借此避开昂贵的人工采集以及专门环境搭建。除数据集外, 论文还搭建了一个多游戏评测环境, 该环境含有10款商业游戏里的30个任务, 覆盖战斗、导航、决策、平台跳跃、探索和解谜等能力, 且通过统一的API封装不同游戏, 以使模型能够在更真实的跨游戏环境中测试泛化能力。
其效果呈现之时, 于 3D 动作游戏战斗里展现出较强能力, 在 2D 平台跳跃高精度控制方面亦如此, 于程序生成世界探索等任务中同样表现出较强能力, 且还能够迁移至未曾见过的新游戏。论文当中有所提及, 在相同数据以及计算预算的情形之下, 借助预训练权重来进行微调, 相较于从零训练的模型, 而任务成功率最 高能够收获 52% 的相对提升数值。作者还针对数据集、评测套件以及模型权重展开了开源操作。
从整体上去看, 这篇论文将游戏智能体, 从“朝向单个游戏开展训练专用策略”, 推进至“运用互联网规模视频数据预训练通用视觉—动作基础模型”, 其意义并不单单局限于游戏自身, 还在于为具身智能提供了一条全新的数据路径, 即借助公开视频恢复动作监督, 促使模型能够于大量人类玩家行为里学习跨环境、跨任务的操作能力。
03
从单体控制到团队行为学习
要是讲, 所关注的乃是一个智能体究竟怎样从视觉里学会行动, 那么于人形控制以及机器人协作之中, 更为复杂的一个问题便是, 多个智能体到底如何如同团队那般协同起来去完成任务。
与 Sea AI Lab 以及新加坡国立大学一同提出的《: a for Human- with Any Team Size》所研究的是多个人形智能体之间的协作式人—物交互事项, 此事项是让多个虚拟人或者机器人一块儿搬运、抬起、移动物体, 且能够按照队伍人数以及物体形状自行调整协作方式。
当前存在的物理人形控制, 已然能够达成不少单人动作以及人—物交互任务, 然而, 一旦步入多人协作场景, 便会遭遇两个难点, 其一为, 众多策略仅仅能够适配固定人数, 极难扩展至不同团队规模；其二是, 高质量多人协作动作数据极为稀少, 致使模型很难学到自然、多样并且物理合理的协同行为。
