每年CES,我都会把演讲全程看一遍再写速记。往年大家最关心的是显卡参数、游戏性能,但到了今年,风向明显变了——从展前预热到各厂家的动作来看,物理AI才是真正的主角。
我说的物理AI,不是又一个概念炒作。上一轮生成式AI解决的是"理解世界"的问题,让机器能看懂文字、图片、视频;而物理AI要解决的是"改造世界"的问题,让机器人、自动驾驶、工业自动化系统在真实物理环境中自主决策和行动。黄仁勋在CES上反复强调这个转向,背后的逻辑很清晰:大模型的天花板正在从数字世界延伸到物理世界,而算力、传感器、机器人本体这三条产业链,正在因为AI的介入发生深度融合。
这篇文章不是演讲稿复述,而是我从开发者视角做的完整拆解。我会把物理AI的三大技术底座讲清楚,然后重点聊聊作为开发者,在这个拐点上究竟该往哪个方向投入,以及落地过程中那些没人明说但一定会踩的坑。如果你是做机器人、自动驾驶、工业自动化,或者单纯想找下一个技术增长点的开发者,这篇内容值得你花十分钟读完。
1. 为什么说CES 2026最值得关注的不是芯片参数,而是物理AI
1.1 从"理解世界"到"改造世界",生成式AI的下一站
过去两年,生成式AI的叙事一直围绕着语言和图像展开。ChatGPT让机器学会了对话,Stable Diffusion让机器学会了作画,AI视频生成工具让机器学会了"想象"动态场景。这些能力的共同点是:它们都在数字世界里运转,输入输出都是token、像素、声音波形。
但真实世界不是由token组成的。机械臂抓取一个易拉罐,需要考虑罐子的材质、重心、摩擦力;自动驾驶车辆通过路口,需要考虑其他车辆的意图、行人的不确定性、雨天的路面附着系数。这些物理交互的复杂性,是纯语言模型无法覆盖的。
物理AI要做的,就是把这些物理交互的规律内化到模型中。它不仅仅是"看"到物体,而是理解物体的物理属性;不仅仅是"识别"场景,而是能预测场景下一步的演化。黄仁勋在演讲中反复提到一个概念:让AI学会物理世界的"常识"——比如物体落地会弹跳、液体洒落会飞溅、重物无法被轻易推动。这些对人类来说理所当然的常识,恰恰是当前AI模型最缺乏的能力。
我个人的判断是,CES 2026之所以把物理AI作为主线,是因为产业层面已经走到了不得不转向的节点。数据中心的AI训练已经足够成熟,但消费端和工业端需要的是能跑在真实设备上的智能。英伟达的策略一直很清晰:它不想只做训练芯片,而是想成为物理AI时代从仿真到部署的全栈基础设施。
1.2 物理AI到底指什么:一个产业级的定义
很多人对物理AI的理解还停留在"机器人+大模型"这个模糊层面,这里我给出一个更精确的拆解方式。物理AI应该包含三个层次:
第一层是感知物理世界。这一层由传感器完成,包括摄像头、激光雷达、毫米波雷达、触觉传感器、惯性测量单元等。过去感知主要靠人工设计的算法来识别物体,现在则越来越多地依赖端侧视觉模型,直接用神经网络从原始传感器数据中提取语义信息,比如识别"这是一个杯子""前方路面有积水"。
第二层是理解物理规律。这一层的核心是世界模型,它不仅要识别当前场景,还要能预测接下来会发生什么。物体被碰倒后倒向哪个方向?机械臂用多大力度才能不捏碎鸡蛋?这些问题需要模型具备对物理规律的隐式建模能力。世界模型这个概念我在后面会详细展开,它是物理AI区别于传统机器人的关键技术。
第三层是执行物理动作。这一层由执行器完成,包括电机、液压系统、气动系统等。传统机器人靠运动学和动力学方程精确计算每一个关节的角度和力矩,物理AI则让机器人通过强化学习或模仿学习,直接学习"从状态到动作"的映射策略。
三层加在一起,才构成完整的物理AI系统。黄仁勋在CES上强调的"机器人ChatGPT时刻",其实指的就是这三层技术栈已经相对成熟,可以像大语言模型一样,从专用走向通用,从实验室走向规模化部署。值得注意的是,英伟达强调的是"加速"而非"取代"——物理AI不是要取代传统控制算法,而是在传统方法难以处理的非结构化场景中提供新的解决方案。
2. 物理AI落地的三大技术底座拆解
2.1 世界模型:让机器人学会"预演未来"
如果说大语言模型的核心能力是"预测下一个token",那么世界模型的核心能力就是"预测下一帧状态"。别小看这个区别,它直接决定了AI能否在物理世界中可靠地工作。
一个机械臂要抓取桌上随机摆放的物体,传统方法需要精确的3D视觉定位和逆运动学求解。但如果物体被其他东西遮挡,或者物体本身是不规则形状,传统方法就会遇到困难。世界模型的思路完全不同:它从历史交互数据中学会了一个隐式的物理模拟器,输入当前状态和动作,输出未来状态的预测分布。这样即使物体部分遮挡,模型也能根据上下文推断物体的完整几何和位姿,并预演抓取动作的成败。
从技术实现上看,World Model目前主要有两条路线。一条是基于扩散模型的视频预测路线,让模型直接生成未来几秒的视觉预测帧;另一条是基于自回归模型的潜在动态预测路线,在高维潜空间中预测未来状态,而不必在像素级生成完整画面。两条路线各有优劣:视频预测更直观,但计算量巨大;潜空间预测更高效,但可解释性较差。
我预计CES上披露的技术栈会继续沿"潜空间预测+扩散模型精修"的混合方向演进。对开发者来说,现阶段最务实的做法不是自己从零训练一个世界模型,而是用好现成的预训练模型和仿真环境去积累机器人交互数据。世界模型的价值不是替代控制算法,而是为控制算法提供一个"可学习的预测器"。
2.2 合成数据与仿真平台:解决训练数据荒的最优解
物理AI面临的最现实的瓶颈之一就是数据。大语言模型的训练数据可以从互联网上抓取,但机器人抓取、行走、避障的交互数据只能从真实物理环境中获得,成本极高、速度极慢。一个机械臂在真实环境中一天能完成的抓取尝试不过几百次,而强化学习算法动辄需要数百万次交互才能收敛。
合成数据因此成为物理AI落地的基础设施。简单说,就是在仿真环境中生成大量带标注的交互数据,用这些数据训练模型,再迁移到真实世界。这个思路本身不新鲜,但过去几年仿真平台的能力发生了质变——物理引擎越来越精确,渲染越来越逼真,更重要的是,仿真环境支持大规模并行计算,一个GPU集群可以同时模拟成千上万个机器人在不同场景中交互。
我自己的实践经验是,合成数据最关键的指标不是"逼真度",而是"分布覆盖度"。很多人在仿真里做得特别逼真,结果迁移到真实环境还是失败,原因往往是数据分布没对齐——仿真数据主要集中在正常工况,而真实环境中的长尾情况(光线变化、物体磨损、传感器噪声)在合成数据里覆盖不足。为了解决这个问题,目前主流做法是域随机化,在仿真中随机改变光照、纹理、物理参数,让模型学会不依赖特定环境特征的鲁棒表征。
CES上关于合成数据平台的重点,我推测会集中在两个维度:一是提升仿真与现实的物理一致性,让Sim-to-Real迁移更顺滑;二是降低非专业开发者搭建仿真场景的门槛,把大量预制场景和资产开放出来。对于个人开发者而言,这意味着物理AI的入门成本正在快速下降,不用再自建仿真环境,直接用平台级的合成数据工具就行。
2.3 机器人专用计算平台:从云端训练到边缘推理
第三个底座是硬件。物理AI不能只在云端跑,机器人必须实时做出决策,这就对边缘计算提出了极高要求。辅助驾驶场景要求感知到决策的端到端延迟控制在几十毫秒以内;工业机械臂要求控制周期在毫秒级;双足机器人在行走时更是要求关节控制与视觉感知同步。
传统嵌入式平台难以支撑大模型的神经网络推理,而通用GPU又存在功耗、体积和成本问题。机器人专用计算平台因此成为了一个新的硬件赛道。从产业公开节奏来看,英伟达过去推出的Jetson系列一直是机器人和自动驾驶边缘部署的主力,而CES 2026这个时间点对应的产品迭代,大概率会在算力架构和能效比上做一次明显跃升。
从技术演进路径上,机器人计算平台有几个值得关注的方向。一是把视觉Transformer、扩散模型这类大模型结构的推理单元直接硬化到芯片里;二是集成更丰富的传感器接口,减少外部信号处理芯片的数量;三是强化与仿真平台的数据闭环,让边缘设备采集的数据可以无缝回传训练。对开发者来说,这意味着过去需要在工控机、FPGA、嵌入式板卡之间反复取舍的难题,会逐渐收敛到一个统一的高算力平台上。
3. 开发者能抓住的机遇到底在哪里
3.1 核心技术栈抢跑清单
说了这么多宏观趋势,接下来聊点实际的:作为开发者,现在应该学什么、用什么、做什么,才能在物理AI这波浪潮里站住位置。
我把当前值得投入的核心技术栈整理成了四层,你可以对照自己的情况判断切入位置。
第一层是仿真与数据层。核心工具包括仿真平台(如Isaac Sim、MuJoCo、PyBullet)、数据标注与管理工具、以及合成数据生成管线。如果你之前有3D美术、游戏开发或物理引擎相关经验,这一层很容易上手,而且目前非常缺人。构建一个高质量的仿真场景、配置合理的域随机化参数、设计数据采集任务,这些工作看起来不起眼,实际上直接决定了上层模型性能的上限。
第二层是感知与理解层。核心是视觉基础模型、3D感知、点云处理、多传感器融合。这一层和传统计算机视觉高度重合,但重点从静态图像理解转向动态场景理解——不只是识别物体清单,而是理解物体之间的关系、运动趋势和可达性。做自动驾驶感知的开发者转到机器人感知,门槛相对较低。
第三层是决策与策略层。核心是强化学习、模仿学习、以及世界模型驱动的规划算法。这一层难度最高,也是目前人才缺口最大的地方。不需要你从零研究算法,但至少要知道如何设计奖励函数、如何搭建训练环境、如何用模仿学习做预训练再用强化学习做微调。
第四层是边缘部署与系统集成层。核心是模型压缩、量化、推理优化、ROS/ROS 2系统集成、实时控制。这一层要求对嵌入式开发和系统架构比较熟悉,了解如何在算力和功耗受限的平台上把神经网络跑到实时。
我见过很多开发者一上来就扎进强化学习算法里,效果往往不理想。更建议的路径是:先通过仿真数据平台跑通一个最简单的机器人任务(比如机械臂抓取),把整个数据、训练、部署的闭环打通,然后再去深入算法细节。物理AI的核心挑战不在单一环节,而在链路整合。
3.2 技能转型与项目切入路径
再进一步说,技能转型应该怎么规划。对于有深度学习背景的开发者,最大的差异在于物理世界的"时序性"和"交互性"。图像模型处理的是静态样本,语言模型处理的是离散序列,而物理AI处理的是高维连续时空中的闭环交互。这意味着你需要补强的知识包括:时序建模(LSTM、Transformer的时序变体、状态空间模型)、传感器数据处理、以及基本的控制理论。
对于传统机器人背景的开发者,优势在于理解物理系统,短板在于深度学习工程化经验。建议优先掌握Python生态下的深度学习框架、模型训练流程和数据管理方法。不要被"大模型"三个字吓到,物理AI领域真正高频使用的模型规模并不夸张,很多场景下参数量在几亿到几十亿之间,和小型语言模型相当,会跑训练、会调优即可应对。
项目切入路径我建议遵循"阶梯式"原则。第一步,找一个单任务场景,比如"桌面机械臂抓取随机摆放的物体",在仿真环境里跑通;第二步,加入变化因素(不同物体形状、不同光照、不同背景),训练一个有一定泛化能力的模型;第三步,部署到真实设备,调整Sim-to-Real gap;第四步,再考虑增加任务复杂度,比如"抓取-放置-堆叠"复合操作。每完成一个台阶,你对物理AI的直觉就会深一层。相反,一上来就想做双足人形机器人的全自主决策,大概率会在某个环节卡住,消耗大量时间在工程调试上。
4. 落地过程中的硬约束与避坑指南
4.1 算力账:物理AI不是纯软件游戏
很多人把物理AI当成纯软件问题,忽视算力成本,结果项目做到中途发现资源不够。这里我给你算一笔账。
训练一个机器人抓取策略,在仿真环境中收集数据的成本、训练模型的计算成本、以及部署后的推理成本,三者比例大概是6:3:1。数据收集是最贵的环节。如果你在本地用单台GPU跑仿真,一天最多收集几十万帧交互数据,训练一个像样的策略往往需要上千万帧数据,时间成本会高到不可接受。更可行的方式是租用云端GPU集群做并行仿真,虽然单小时成本不低,但总投入比本地慢慢熬要划算得多。
推理侧同样需要精打细算。很多模型在GPU上跑得很好,但部署到机器人本体后,功耗和发热会让事情变得复杂。我的建议是,在项目启动之前就明确推理平台的功耗预算,然后针对性地做模型量化。目前主流的做法是FP16推理为主,INT8量化为辅,关键场景甚至需要混合精度。不要为了追求模型指标而选择过大模型,端侧部署的"够用就好"原则非常重要。
4.2 仿真与现实的鸿沟:Sim-to-Real的常见坑
Sim-to-Real是最容易被低估的坑。很多团队在仿真环境里模型表现神勇,一到真实环境就立刻崩溃,最常见的案例就是机械臂在仿真里抓取成功率95%以上,实机上却不到50%。
我排查过多次类似问题,总结出三个最常见的原因。
第一个原因是物理参数不一致。仿真里的摩擦系数、质量分布、关节阻尼都是设定值,和真实硬件总有偏差。域随机化是解决这个问题的首选方案,但在设置随机范围时要小心——范围太小解决不了迁移问题,范围太大又会让模型学到过于保守的策略。我从实践中得到的经验是:先让模型在真实环境做少量数据采集,用这些数据校准仿真的关键物理参数,再做域随机化,效果比盲调好得多。
第二个原因是传感器噪声模型缺失。仿真里的摄像头画面太干净、IMU数据太光滑,没有考虑真实传感器的噪声和延迟。一个很容易被忽视的细节是:相机曝光时间和机器人运动速度之间的关系。快速运动时图像会产生运动模糊,如果仿真里没有模拟这种模糊,模型在实机上就容易丢失视觉信息。
第三个原因是时序不同步。仿真环境中感知、决策、控制默认是同步的,而真实系统中每个模块都有自己的计算延迟,传感器到控制器之间还有通信抖动。处理办法是明确记录每个模块的时间戳,在训练时加入随机延迟扰动,让策略网络对一些微小的时序错位具备鲁棒性。
4.3 数据合规与应用安全边界
最后提醒一下合规问题。物理AI的数据来源往往涉及真实环境采集,自动驾驶的场景数据可能包含行人面部、车牌等个人信息,工业场景的数据可能涉及工艺流程等敏感信息。做项目时一定要提前确认:数据采集是否获得了必要的授权?数据存储和传输是否符合相关隐私保护要求?如果使用公开数据集,也要仔细核对许可协议,有些数据集虽然免费但限制商用。
应用安全边界同样重要,尤其当AI系统控制真实的物理设备时,模型幻觉不再是聊天里的小毛病,而是可能造成实质物理损伤的事故。任何涉及运动控制的物理AI系统,都必须在架构上保留独立的急停通道。也就是说,AI决策通过的控制指令,必须在硬件层有手动优先覆盖的能力,不能让神经网络直接无约束接管执行器。这个建议我在多个场合反复提过,因为看到太多Demo项目为了演示流畅而砍掉安全冗余,这是绝对不能接受的。
5. 写在最后:物理AI对普通开发者的真实影响
文章最后,说点掏心窝的话。物理AI这个方向,热度一年比一年高,但真正能落到产品里的应用依然有限。如果你是圈外人,可能会觉得"机器人什么都能干了",实际接触后你会发现,目前靠谱的应用仍集中在几个垂直场景:仓储物流的分拣搬运、工业场景的上下料与质检、农业采摘、以及受限环境下的巡检。通用人形机器人离真正的日常生活还有相当距离。
但这恰恰是开发者的机会窗口。通用方案没成熟,意味着每个垂直场景都有大量定制化工作可做;基础设施在快速完善,意味着个人和小团队能用到的工具越来越强。如果你现在开始布局,等到基础设施完全成熟时,你已经是这个领域的资深玩家了。
就我个人而言,最近感触最深的是工具链的进步速度。两三年前做机器人仿真,需要自己搞定物理引擎、渲染器、资产导入,光是环境搭建就能耗掉一两周;现在平台级仿真工具把这些全部集成好了,一天之内就能跑通一个完整数据管线。这种效率提升带来的直接结果是:物理AI的试错成本大幅降低,意味着更多的人可以参与进来,更多的人可以贡献想法。
如果你正在纠结要不要投入这个方向,我的建议是先别急着下结论,用一个周末的时间在仿真环境里跑一个最简单的机械臂抓取项目。当你亲眼看到模型在虚拟环境里学会抓取、再把这个策略迁移到实体设备上成功执行的那一刻,你自然就知道这个方向值不值得继续了。