端到端这个词,近两年在智能驾驶圈子里已经被聊得快要包浆了。从最早“感知-预测-规划”三段式串联,到今天各家都在喊的“一段式大模型”,再到突然冒出来的“世界模型”,很多从业者其实心里都有同一个疑问:这两者到底是什么关系?是同一件事的不同说法,还是端到端后面还有下一站?
我自己的理解是,端到端解决的是“从输入到输出的一条龙”,而世界模型解决的是“这条龙脑海中怎么想象这个世界”。这两者不是取代关系,而是递进关系。这篇文章我想从技术演进的视角,把“端到端到世界模型”这条脉络拆开揉碎,聊清楚每个阶段到底在做什么、难点在哪里、实际落地该坑哪些,以及我个人踩过的几个坑。
1. 端到端到底在解决什么问题
1.1 传统模块化架构的瓶颈
在聊端到端之前,得先回顾一下上一代方案为什么走到了天花板。传统智驾系统是感知、预测、规划三个独立模块串联,每个模块由独立的模型或规则组成,模块之间通过中间表征对接。感知模块负责识别车道线、车辆、行人、红绿灯;预测模块负责估计其他交通参与者的意图和轨迹;规划模块则基于这些输出生成自车的行驶轨迹。
这套架构的问题是割裂的:感知模块输出结果的优劣,预测模块无法感知;预测模块建模时对自车行为的假设,规划模块又不一定认同。一个典型的场景是,感知模块把远处一辆打着双闪的静止车辆识别成普通静止障碍物,预测模块按“静止物体”来处理,规划模块最终决定绕行。其实人类司机一眼就能看出它可能要起步汇入车道,这种语义级的推理能力,在模块化架构里需要层层手工传递,几乎不可能完整表达。信息在传递过程中被压缩丢失,每个模块各自优化,组合起来却不一定是全局最优。
模块化架构真正的问题在大规模量产前暴露得愈发明显:规则代码指数级膨胀、长尾场景靠人肉堆Case、跨模块之间的信息丢失导致系统在复杂交互场景里反应机械。一批批工程师白天调规则参数,晚上看路测日志,这种“面向Case编程”的开发方式,已经很难支撑L2++甚至L3级别的体验要求了。
1.2 端到端带来的范式变化:从规则到数据
端到端的核心变化,不是把几个模型拼在一起,而是把整个决策链条变成一个大模型,直接从传感器原始输入到控制指令输出。中间不需要人工定义特征、不需要维护场景规则库、不需要写大量的if-else分支判断。系统的行为不再由人来写规则决定,而是由训练数据来定义。
这套范式的本质,是把问题从“工程问题”变成“数据问题”。以前遇到一个Corner Case,工程师的响应是加规则;现在遇到Corner Case,正确的响应是找数据、标数据、进训练集。开发重心从写代码,变成了构建数据闭环。
说得再直白一点,端到端模型在训练时拿到的是这样的数据对:一段多视角视频输入,一段人类驾驶的方向盘转角、油门刹车踏板数据。模型内部自己学会提取特征、判断意图、规划轨迹,最终输出控制量。人类不告诉它“红灯要停”,也不告诉它“这个物体是锥桶所以可以压过去”,但海量数据会教会它这些隐性的知识。
这套范式的好处是显而易见的:一致性更强,决策链条整体优化,不再有模块间误差累积;长尾泛化能力潜力更大,模型能学到数据中隐含的微妙模式,而不仅仅是工程师已经理解并写成规则的模式;研发迭代效率更高,新数据直接投喂模型,而不是改代码。
我个人测过很多版本模型之后有一个感受:端到端系统在常规路况下的表现往往超出预期,但在极端场景下的表现下限,取决于训练数据的覆盖度,这一点在后面的实操环节我会再详细说。
1.3 端到端的技术实现路径
当前行业里端到端的实现路径,大体可以分成两类,一类是模块化端到端,一类是“一段式”端到端。
模块化端到端,本质上是在传统架构里引入可微分的中间模块,让感知到规划这条链路整体参与反向传播,但中间还是有结构化表征。比较有代表性的是百度Apollo的PnP(Planning as a Neural Network)这类方案,感知输出BEV特征,规划模块基于BEV特征直接生成轨迹。这个路线的优点是保留了中间结构,调试相对容易,但收敛上限受到表征设计的制约。
一段式端到端,即直接从传感器输入到控制输出,中间不显式设计任何结构化模块。代表性方案包括特斯拉的FSD V12、Momenta的这段式方案、华为ADS的GOD网络等。模型内部通过注意力机制自行组织空间理解和行为决策。这个路线上限更高,但对数据量、算力、训练技巧的要求也极其苛刻。
从量产落地的角度来说,这两条路线并非非此即彼,很多公司实际做的是中间路线:感知部分用端到端网络输出BEV空间特征,决策规划部分用神经网络替代传统优化器,但保留一定的安全兜底规则。这种“看起来不彻底但能落地”的方案,是行业当下的主流选择。
2. 世界模型是什么,它和端到端区别在哪
2.1 语言模型到世界模型的迁移逻辑
如果你接触过大语言模型,会发现一个很有意思的类比。GPT这类模型做的事情,是学习文本序列的分布;给一个上文,预测下一个Token。它内部其实建立了一个对语言世界的高维抽象——语法、语义、常识、逻辑关系都被压缩在注意力权重里。所以它能回答问题、写代码、做推理,甚至能根据对话上下文推断出用户没说出来的意图。
世界模型的思路是类似的,只不过数据模态从文字换成了视觉/空间/动作。世界模型要学习的不再是“下一句话是什么”,而是“下一帧画面是什么”、“如果执行某个动作,环境会变成什么”。它要建立的是对物理世界运行规律的隐式理解。
举一个直观的例子:端到端模型看到前方一辆车突然减速,它能学会也跟着减速,因为训练数据里大量存在这样的场景。但如果你问它:如果前车继续急刹,两秒之后会怎样?端到端模型回答不了,因为它没有显式建模“未来状态”。世界模型可以回答:它会在自己的内部表征空间里推演前车急刹的后果——自车继续以当前速度行驶是否会导致碰撞、是否有足够距离刹停,或者是否需要变道。这个“对未来的推演能力”,是端到端和世界模型最本质的区别。
2.2 世界模型在智驾中的三种典型形态
目前业界提到的世界模型,其实包含几种不同的形态,我整理了一下:
第一种是环境预测型。这类世界模型以自车过去和当前的状态为输入,预测未来若干时间戳的传感器观测、或者语义占据栅格,做的是多模态预测。它更像一个高保真的“虚拟环境模拟器”,用于数据扩充和场景重建。
第二种是场景生成型。核心思路是给定一个初始状态和动作序列,模型生成一个完整的、可控的驾驶场景视频。这种能力可以用于生成训练数据,也可以用于闭环仿真测试。Google的GAIA-1、Wayve的GAIA-2、理想汽车的DriveDreamer等,都是这个方向。
第三种是推理决策型。这已经不只是预测环境,而是把环境预测和价值判断统一到一个模型里。模型会基于当前观测生成多个可能的行为方案,在内部世界模型中推演各个方案的结果,选择预期最优的方案执行。这类架构本质上是在走“预测规划联合优化”的路线,也最接近“端到端到世界模型”的最终形态。
需要强调的是,这三种形态不是互相排斥的。同一个模型可能同时具备场景预测和决策推理能力,关键看训练目标和网络结构怎么设计。
2.3 世界模型的技术基础:隐空间推演
世界模型相对端到端最核心的技术升级,是引入了“隐空间推演”这个机制。所谓隐空间,是指模型内部对世界状态的低维压缩表征。真实世界的状态维度太高了——像素、光照、天气、车辆姿态、路面摩擦系数,直接在原始空间做预测,算力需求是不可接受的。
于是模型学着像人一样,只保留对决策有用的关键信息,把高维观测压缩成一个隐状态向量。在这个隐状态空间里,时间维度的演化规律变得相对简单,模型可以高效地预测下一时刻的隐状态,再解码回观测空间。
这个过程可以用一个比较通俗的类比来理解:你开车经过一个路口,看到右前方有一辆电动车,你的大脑不会逐像素地分析它的颜色、反光、车牌号,你只提取了几个关键信息:它在我的右前方、距离约三米、速度不快、有向右偏移的趋势。这四个信息构成了你对当前场景的一个“隐状态”,然后你在这个高度抽象的状态基础上做推演:如果我不踩刹车,三秒后它会不会贴过来?有了这个推演结果,你再决定脚怎么放。
世界模型做的就是这件事,只不过它通过大规模训练,学到的隐空间表征比人脑更精细、更量化、更稳定。
3. 从端到端到世界模型,中间到底跨了几步
3.1 第一步:端到端实现“行为克隆”
端到端模型的先决条件是海量的人类驾驶数据,本质上在做的是行为克隆——让模型模仿人类司机在各种场景下的操作。这个阶段其实不太需要模型理解世界,只需要学到“输入到输出的映射关系”。但是有一个核心悖论:输入和输出之间的映射关系,在长尾场景下根本不存在唯一解。同一个场景,不同司机的操作完全不同;同一个司机,在不同心境下的操作也不同。模型只能学到统计平均意义上的行为,在面对真正需要创意决策的极端场景时,就会暴露出局限性。
我当时做端到端模型训练时最直观的感受是:常规场景收敛很快,但模型在无保护左转、窄路会车这种需要强交互推理的场景里,行为会变得犹犹豫豫,甚至出现“想转又不敢转”的抖动。这不是模型结构有问题,而是训练数据里这类行为的分布太稀疏,模型没有学到足够的“决策逻辑”,只学到了“动作统计”。
3.2 第二步:让模型学会“自我博弈”
要突破这个瓶颈,就需要让模型不只是模仿人类,而是能够自己跟自己“对弈”。具体来说,在模仿学习的基础上引入强化学习:模型的决策输出会与环境交互,得到一个奖励信号,根据奖励来调整策略。这个环境可以是真实道路(闭环路测)、仿真模拟器、或者是模型自己的世界模型。
在仿真环境里,模型可以不断试错,探索出比人类更优的策略。比如密集车流下的汇入、无信号灯路口的通行博弈,这类场景下好的策略往往不是单一维度最优,而是兼顾效率、安全、舒适的多目标折中。人类数据给模型打底,强化学习让模型在底线上长出“自己的驾驶风格”。
这一步的意义在于,模型的训练信号开始不依赖人类标注,而是依赖环境反馈。而环境反馈的计算,需要一个能模拟真实物理交互的环境模型——这就自然过渡到了世界模型的需求上。
3.3 第三步:用世界模型做“神经虚拟环境”
前面提到,强化学习需要环境交互,真实路测效率太低,传统仿真器又不够真实。那能不能用神经网络自己搭一个“虚拟世界”,在这个世界里训练车?这就是世界模型在智驾中最务实的落地路径:作为神经模拟器,为强化学习提供训练环境。
这个方案之所以可行,是因为世界模型具备传统仿真器没有的两个特性:一是连续生成能力,可以无限生成高逼真的驾驶场景,覆盖不同城市、天气、交通流状态;二是参数可控性,可以指定模型生成特定的边缘场景——比如“前方突然有行人横穿”“旁车强行加塞”“路口出现逆向行驶的电动车”,用于针对性地测试和提高系统应对能力。
我在实际使用中体会到,这种“生成式训练环境”相比传统仿真器的最大优势是,不需要人工搭建3D场景。传统仿真器里做一个加塞场景,需要美术建模、逻辑脚本、场景编辑器;世界模型完全不需要这些,只要在提示向量里加一个“旁车加塞”的条件,模型直接生成对应的视频序列,数据成本几乎可以忽略不计。
3.4 第四步:预测到决策的闭环统一
最终极的形态,是打破“环境预测”和“行为决策”的边界,让模型直接基于隐空间推演来选择动作。这类模型的决策过程是:观测当前场景、编码进隐空间、在隐空间里推演多个假设动作的未来演化、对每个演化结果打分、选择得分最高的动作执行。
这一步的意义是革命性的:模型不再是通过“感知结果”间接理解世界,而是通过“动作对世界的影响”直接理解世界。它知道踩下刹车之后车辆的减速度曲线,知道方向盘转角变化会引起怎样的轨迹转移,知道前车急刹时自车应该怎样反应。这种“动作-结果”的因果建模能力,是传统端到端模型完全不具备的。
到了这一步,“端到端”这个词其实已经不足以描述这个系统的全部能力,因为端到端隐含的语义是“输入到输出”,而世界模型隐含的语义是“理解世界并据此行动”。从前者到后者的跨度,是整个智驾系统从“会开车”到“懂驾驶”的质变。
4. 端到端到世界模型落地过程中的关键抉择
4.1 数据收集与闭环训练
聊了这么多理论,真正碰过工程的人都知道,落地才是最大的坎。端到端到世界模型的架构,对数据和基建的要求是几何级数上升的。
数据收集方面,首先要保证覆盖度。端到端模型需要的是海量、多样、长尾的驾驶数据,不仅仅是里程数要够,更重要的是场景多样性要够。通常一个可用的数据仓库需要具备几个维度:天气(雨雾冰雪)、时段(白天黑夜)、路况(拥挤畅通)、地域(城市乡村)、交互(行人非机动车密集程度)、特殊场景(施工区、事故区、无保护路口)。
我在实际项目里发现一个现象:数据量从1万小时增加到10万小时,模型表现提升非常明显;但10万到20万小时,提升曲线会变得平缓。这时候真正起作用的不再是量,而是数据质量:那些真正的长尾Case——极端天气、罕见交通行为、复杂路面结构。这些数据在路测中出现的概率可能只有0.1%,必须靠主动挖掘而不是被动积累。
主动数据挖掘的方法一般是这样的:在所有量产车上部署数据采集器,设置事件的触发条件,比如瞬时加速度异常、方向盘转角突变、AEB介入、驾驶员接管。只要触发,就把前后各15秒的传感器数据上传到云端。云端对这些数据做自动化聚类和标注,筛选出有价值的场景进入训练集。这套闭环流程跑得越流畅,模型迭代速度越快。
训练基础设施方面,端到端到世界模型的参数量通常达到数十亿甚至上千亿,训练需要几千张A100级别的GPU。模型训练框架需要支持大规模分布式并行、混合精度训练、梯度检查点、序列并行,一个基本功不扎实的团队,很可能连模型都跑不起来,更别说迭代。
4.2 模型架构选型:Transformer还是扩散模型
世界模型的核心架构选型,是当前学术界和工业界的争议焦点。目前主流方案主要有两类:
一类是基于Transformer的自回归模型。这类模型把连续的视频帧抽象成离散Token,通过自回归方式预测下一帧Token,从而生成未来的场景演化。代表工作是Google的GAIA-1和GAIA-2。这类方案的优势是与大语言模型的训练框架高度兼容,工程基建可以直接复用,Discrete Token的设计也让模型具备很强的组合能力。
另一类是基于扩散生成模型(Diffusion Model)的架构。扩散模型的思路是学习一个从噪声到图像的降噪过程,通过逐步去噪来生成目标帧。代表工作是Wayve的GAIA-2后续版本以及学界大量相关工作。这类方案生成的图像细节质量更高,尤其在复杂纹理、真实光影效果上明显优于自回归模型。
从我个人的测试经验来看,Transformer方案在“可控生成”和“大规模训练”上更成熟,扩散模型在“生成质量”上更胜一筹,但推理速度慢、可控性差、训练不稳定。目前行业中比较务实的做法是:用扩散模型做离线数据生成,用Transformer做在线推理环境。
4.3 仿真验证与安全兜底
世界模型生成的场景毕竟是生成式的,不是真实世界,验证这套系统是否安全可靠,需要建立一套完整的评测体系。
我在项目中建立了一套三层验证体系:第一层是模型离线指标,包括预测误差、生成多样性、闭环驾驶成功率等;第二层是基于真实路测的回放测试,把真实路采数据喂给世界模型,让模型做未来的推演,再跟真实结果做对比,衡量模型对世界理解的准确度;第三层是量产车上的影子模式验证,系统在真车上运行,但不控制车辆,只输出决策结果,跟驾驶员实际操作对比。
这三层体系的意义是:在模型真正接管方向盘之前,我们已经能离线评估它在各种场景下的表现水平。影子模式的数据积累尤其重要,它能在不影响安全的前提下,收集模型在真实道路上的决策数据,用于后续的强化学习优化。
不过要说一点残酷的现实:目前所有世界模型的生成结果,都还不能保证长期推演的物理一致性。模型在30秒到1分钟内可能生成非常逼真的视频,但超过这个时间窗口,车辆可能莫名消失、道路拓扑可能扭曲、物理定律可能被违背。这也是为什么世界模型至今还没有真正意义上完全接管量产车的核心原因之一——稳定性还不够。
5. 世界模型在智驾中的四个典型应用场景
5.1 数据增强:把1个场景变成100个
世界模型最直接的应用是数据增强。传统的场景库扩充靠路测、采集、标注,成本极高;有了世界模型之后,可以让模型对已有的驾驶场景做“重渲染”。
比如采集了一段雨天在高速公路上行驶的实车数据,通过世界模型加入“雪天”“雾天”“夜晚”等环境条件,或者调整场景中的交通密度、前车行为风格,就可以在几分钟内生成同场景下的多种变体。这些变体数据与原始数据一起进入训练集,模型的泛化能力会显著提升。
这里有个操作技巧:数据增强不是把生成视频直接丢给模型训练,而是要先做质量筛选。模型生成的视频里会有大量物理不一致的帧,直接训练会引入噪声。实际做法是训练一个小型的质量判别模型,对生成的视频做物理合理性评分,过滤掉低分样本再进入训练集。
5.2 训练环境:让强化学习跑在“幻觉”里
前面已经提到,世界模型可以作为强化学习的神经虚拟环境。实际落地时,比较成熟的流程是这样的:先训练一个世界模型,输入当前的观测和动作序列,输出下一时刻的观测;再在训练循环中交替更新世界模型和驾驶策略模型;策略模型从观测中编码出隐状态,在内部做动作推演,环境反馈通过世界模型生成的新观测来提供。
这个流程的一个关键参数是“推演步数”。推演步数太短,模型没有足够的信息来评估动作后果;推演步数太长,误差累积会让推演结果失真。实际调试中,我一般从5帧开始验证,逐渐加到10帧、20帧,观察策略性能的边际变化。
另一个关键点是,世界模型生成的训练场景需要“beat”策略模型的当前弱点。也就是说,不能只生成容易的场景,要主动生成策略模型表现差的场景,让强化学习有针对性地改进。这个机制可以用一个额外的探索奖励来实现:策略模型在某个场景下的不确定性越高,奖励值就越低,驱动它在这个方向探索更多。
5.3 场景搜索:主动挖掘长尾风险
世界模型可以做“主动安全搜索”:设置一批高风险场景描述,比如“电动自行车突然横穿”“前车货物掉落”“施工区域改道”,让世界模型批量生成这些场景,再测试算法的表现。一旦找到算法表现不佳的场景,就自动进入训练集。
这个能力在量产开发中价值极大。传统方式下,长尾场景的复现可能需要在路上跑几万公里才碰到一次;世界模型只需要在云端并行生成海量场景,几分钟就能把一个长尾场景测试上百次。
在实际使用中,我发现场景搜索有两个坑:一是生成场景的同质化现象很严重,同一个描述词生成的多个场景仅有少量像素级差异,模型系统性的缺陷可能被漏掉;二是生成的场景难度可能远超实际道路状况,导致测试结果过度悲观。这两个问题都需要人工设置约束条件来解决。
5.4 决策解释性:让模型为你“说出理由”
智驾系统的可解释性一直是政策法规和用户信任的焦点。世界模型为可解释性提供了一个新的思路:模型推演未来场景时,可以同步输出“如果采取动作A,会发生B”的因果解释。
比如系统在高速上决定变道,它可以同时输出一段推演视频:如果维持当前车道,前车急刹,碰撞风险升高;如果变到左侧车道,目标车道后方车辆距离足够,风险更小。这段推演结果可以直接给到用户界面,让乘客或安全员理解系统为什么要这么做。
这一步做得好,不仅能提升用户信任度,也能在事故分析中提供关键证据。不过必须承认,当前世界模型生成的推演视频还不能100%保证物理正确,用它来做正式的决策解释,还有一段路要走。
6. 常见问题与避坑经验
6.1 常见问题速查
我整理了在端到端到世界模型落地过程中最常遇到的几个问题,以及对应的排查方向和解决建议。
问题一:模型训练不收敛,Loss震荡剧烈,尤其是在加入强化学习之后。排查方向:奖励函数设计是否合理、学习率是否过大、batch size是否过小。经验做法是,先单独固定网络主干,只更新决策头,确认Loss能降下来;再逐步解冻更多层。
问题二:生成的视频短时看起来合理,长时出现明显的物理失真。排查方向:模型结构是不是缺乏时间维度的记忆机制、训练数据中长时序列比例是否过低。经验做法是加入“时间一致性损失函数”,强制模型在相邻帧输出的隐状态保持连续。
问题三:强化学习训练旷日持久,策略却提升缓慢。排查方向:查看世界模型对动作的反应是否敏感、奖励信号是否稀疏。经验做法是引入“奖励塑形”,对中间过程给更密集的反馈,比如自车与前车的距离变化量、车道保持误差等。
问题四:在仿真环境里表现优秀,真实路测却问题百出。排查方向:确认真实传感器数据分布和训练数据分布是否存在偏移、世界模型生成的场景是否过度简化了真实世界的复杂度。经验做法是加入对抗训练——让一个判别模型区分“真实数据”和“世界模型生成数据”,让世界模型学会生成更加真实的场景。
6.2 实战踩坑记录
我在这个方向踩过几个比较有代表性的坑,写出来供大家参考。
第一个坑是堆数据不解决问题。早期我们认为端到端模型就是数据堆够就行,结果堆到一定阶段,模型的性能进入平台期。后来排查发现,数据虽然多,但场景分布极度不均衡:城市快速路占比太高,老旧小区窄路、施工区、人车混行路段的占比极低。模型在常见场景表现很好,一到长尾场景就露馅。解决方法是给自动挖掘系统加了一套场景均衡采样器,在训练时按困难度加权采样,效果立竿见影。
第二个坑是训练和部署的框架不一致。我们在训练阶段用分布式大模型框架,模型精度记录用的是FP16,部署时为了性能把算子融合和量化做了很多优化,结果上线时发现相同场景下,部署模型的决策和训练模型出现了明显偏移。排查后发现是部分算子的数值精度差异累积导致的。从那以后,我在项目里立了一个不成文的规矩:每周至少跑一次“训练模型对部署模型的逐帧对标测试”。
第三个坑是过度相信仿真结果。有一段时间,仿真成绩刷得很漂亮,但真实路测表现不佳。后来分析发现,世界模型学习到的是训练数据里的统计规律,它在“学习环境”时也会学到一些不真实的物理假设。比如在某些生成的场景里,交通参与者的行为模式和真实世界有明显偏差,车辆加塞的频率比真实路况高得多。这些偏差在仿真里被当成正常现象,策略模型基于“假设别人会很激进”的统计生成出过于保守的驾驶行为,在真路上就会显得犹豫、变道不果断。
解决办法是在世界模型的训练数据里增加真实路测数据的比例,同时给生成数据做真实性校验,过滤掉那些偏离太远的场景。
第四个坑是人力换数据的迷思。很多人以为搞了端到端和世界模型,就可以大幅减少标注人力,实际上恰恰相反。端到端模型确实减少了对感知标注的需求,但世界模型的训练需要更高阶的标注类型:场景描述文本、物理约束标注、事件因果链标注。这些标注需要懂驾驶、懂模型、懂场景的人才能做好,成本比传统的框框点点高出一个数量级。
7. 我的实际体会与后续方向
真刀真枪做完一轮端到端到世界模型的落地之后,我个人的体会有三点:
第一点,端到端和世界模型的关系,不是替代而是接力。端到端让系统“会开车”,世界模型让系统“懂场景”。前者靠数据堆出基本驾驶能力,后者靠对世界运行规律的内化推演出更高级的驾驶行为。两者的训练数据、模型架构、评测体系都有很大区别,需要分阶段规划资源投入。
第二点,世界模型的可控生成能力比生成质量更重要。行业里很多人关注生成视频有多逼真,但实际应用中更关键的是能否精准控制生成内容——指定场景、指定事件、指定行为。可控性决定了一个世界模型是“有趣的玩具”还是“可用的工具”。
第三点,数据闭环仍然是最大的胜负手。世界模型技术的出现不会让数据的重要性降低,反而让数据的组织方式和质量要求产生了质变。谁拥有高效挖掘、整理、利用数据的能力,谁才能真正把世界模型用起来。
后续我个人比较关注三个方向:一是如何利用世界模型做跨模态的数据蒸馏,让昂贵的激光雷达数据去提升纯视觉模型的性能;二是如何把语言模型的指令跟随能力整合进世界模型,让系统能理解人类的高层意图;三是世界模型在更长时间窗口的推演稳定性如何突破,这是它走向量产的最后一道坎。
如果你也在做端到端或者世界模型方向的开发,我的建议是:先别急着上最高阶的架构,从数据闭环开始建起,用端到端把基本能力跑通,再逐步引入世界模型的场景生成、神经虚拟环境和推演推理能力。每一步的验证指标都要想清楚,不然很容易掉进模型参数越堆越大、实际场景表现却不提升的陷阱里。