NN-MPC：神经网络模型预测控制从原理到工程落地全解析

这两年做控制的人不提两句NN-MPC，好像跟不上版本。神经网络模型预测控制，本质上还是模型预测控制（MPC）那套“预测—优化—滚动执行”的老框架，只不过把神经网络塞进了三个关键位置：替代系统模型、给优化器提供初值、甚至直接生成控制策略。我最近把非线性机器人汽车系统和四旋翼无人机两条线完整走了一遍，从离线训练到在线滚动优化踩了不少坑。这篇把从原理拆分到工程落地的内容一次写清楚，适合正在做机器人运动控制、无人车路径跟踪、无人机自主飞行的同学参考，也适合只听过NMPC但想了解学习型MPC怎么入手的读者。

1. 传统MPC和它的天花板：为什么非要引入神经网络

1.1 MPC的基本范式

MPC的思路说穿了很简单：每个采样时刻，拿当前状态当初始条件，基于预测模型往后看一段时域，算出一串让性能指标最优的控制序列，但只把第一个控制量发给执行机构，下一个周期重来。

这里的数学描述长这样：

x_{k+1} = f(x_k, u_k) J = sum_{i=0}^{N-1} ( x_i^T Q x_i + u_i^T R u_i ) + x_N^T P x_N

x 是状态，u 是控制量，N 是预测时域，Q 和 R 是权重矩阵，P 是终端代价。每一步都要求解一个带约束的优化问题，目标是从当前状态出发，找到一条既满足动力学、又满足执行器极限和安全约束的轨迹。这个结构天然适合机器人：有约束、有预测、有反馈，比纯PID多了一个“看未来”的能力。

但 “看未来”是有代价的。对于非线性系统，每一步在线求解都非常贵，而且对模型质量极其敏感。

1.2 三大痛点：模型精度、在线求解、局部最优

第一个痛点是模型精度。机器人汽车有轮胎摩擦、悬架形变、转向延迟，四旋翼有气动阻力、电机响应、电池压降。把这些全写进一个解析模型，既不现实也不划算。可如果用一个过度简化的模型做预测，误差会随着预测步数不断放大，等你知道模型不准时，控制指令已经偏了。

第二个痛点是在线求解时间。非线性模型预测控制（NMPC）每个周期都要解一个非线性规划问题。小车控制在 20Hz 到 50Hz 还算宽裕，但姿态环到几百赫兹的无人机就没那么容易了。计算资源就这么多，模型越复杂、时域越长，求解器越吃力。

第三个痛点是局部最优。NMPC 的代价函数在非凸约束下会有很多局部极小点，初值给得不好，求解器可能收敛到一个很差的解上。传统做法是拿上一周期的解热启动，但这在强非线性场景里经常不够。

这三点恰好踩中了神经网络的长处。NN 擅长大规模离线拟合非线性映射，前向推理又比在线数值优化快得多。于是就有了三种典型“混法”。

1.3 三个切入点

这三种不是互斥的。实际项目里，我会先把 NN 预测模型做好，再考虑初值生成，最后才尝试直接策略映射。直接策略映射是上线部署最快的方式，但也是风险最高的方式。

2. 核心原理拆解：NN在MPC里的三种“混法”

2.1 第一种：NN当预测模型

这是最常见、也最符合直觉的做法。把原本用机理公式描述的 f(x, u)，换成或者改装成神经网络：

x_{k+1} = x_k + F_NN(x_k, u_k)

其中 F_NN 是一个多层感知机，输出状态增量。输入是当前状态和控制量，输出是预测的状态变化。训练目标是让网络输出和真实系统（或高保真仿真）的下一状态差异尽可能小。

训练数据怎么来？常见的做法是在仿真里用随机控制输入去“扫”系统，记录状态和控制序列，形成输入输出样本。如果有实机数据，也可以用手操轨迹或叠加扫频激励来采集。关键是要让激励信号覆盖系统真正会经历的工作范围，比如小车不能只在直线低速段采集，四旋翼不能只在悬停附近打转。

训练时有一个关键选择：单步损失还是 K 步展开损失。单步损失只要求网络预测一步准确，简单、稳定，但闭环使用时误差会累积。MPC 真正关心的是未来 N 步的预测质量，所以我更推荐在训练后期用 K 步展开损失：让网络预测 K 步，计算整个预测轨迹和真实轨迹的 RMSE，反向传播更新网络。这样训练出来的模型，在线使用时更稳。

2.2 第二种：NN给NMPC当“启动器”

NN 当预测模型能提升精度，但并不能降低求解难度。尤其当预测模型换成了神经网络，代价函数可能变得更“扭曲”，初值不好的话，优化器更容易卡在局部最优。

做法是：先离线用一套成熟的 NMPC 求解大量状态对应的最优控制序列，把这个数据存下来，训练一个网络去拟合从状态到最优控制的映射。在线的时候，网络根据当前状态给出一版合理的控制猜测，把它作为优化器的初始解。优化器再在这个初值附近做精确修正。相当于让一个“老司机”先给出开法，再交给精确优化去微调。

我实际体验下来，NN 初值生成器在某些强非线性问题上能让迭代次数减少两三成，局部最优导致的求解失败也少了很多。但要注意，它只是初值，不能省略约束校验。NN 给出的解很可能本身不满足约束，求解器依然要完整跑一遍。

2.3 第三种：NN直接输出控制量，MPC退居“老师”

第三种最激进：完全砍掉在线优化。离线用 NMPC 大量求解，把“状态到最优控制”的映射用神经网络直接拟合。部署时，网络一个前向推理就能得到控制量，速度可以到几千赫兹，轻松匹配底层姿态环。

听起来很美好，代价是泛化问题。训练数据里没见过的状态，网络会输出什么没有保证。它本质上是行为克隆，不保证约束、不保证稳定性。我自己的看法是：这种模式更适合做低频外环、紧急备份或降级控制，不要让它单独负责安全关键的执行层。就算要用，也得在输出端加一个安全过滤，比如把 NN 输出投影到可行控制集，或者用另一套薄弱的解析 MPC 做校验。

3. 非线性机器人汽车系统的NN-MPC：从建模到仿真复现

3.1 被控对象：运动学自行车模型

做车辆路径跟踪和避障，最常用的基准模型是运动学自行车模型。假设车辆的两个前轮等效成一个轮、两个后轮等效成一个轮，状态选全局坐标位置 (x, y)、航向角 ψ、速度 v，控制量选加速度 a 和前轮转角 δ：

x' = v cos(ψ) y' = v sin(ψ) ψ' = (v / L) tan(δ) v' = a

L 是轴距。更精细一点，会引入质心侧偏角 β：

β = arctan((l_r / L) tan(δ)) x' = v cos(ψ + β) y' = v sin(ψ + β) ψ' = (v / L) cos(β) tan(δ)

这个模型低速下很准，结构简单适合做 baseline。但高速工况轮胎会进入非线性区，纯运动学模型会偏离真实。我习惯先把解析的自行车模型跑通 NMPC，再逐步换成 NN 预测模型。这样如果后续控制效果变差，至少能判断是“模型问题”还是“控制器问题”。

约束方面，小车系统通常有前轮转角限幅、加速度限幅，还会有避障要求。比如障碍物位置在 (x_obs, y_obs)，要求预测轨迹离它的距离大于安全半径：

sqrt((x_i - x_obs)^2 + (y_i - y_obs)^2) >= r_safe

这个约束是非线性的，处理起来比线性约束麻烦得多。后面会讲我踩过的坑。

3.2 数据生成与网络训练

数据采集我按下面这套来，算是通用做法：

• 在仿真里随机撒初始状态，让车辆从不同起点出发。
• 控制量用“正弦扫频 + 随机噪声 + 少量极限工况”组合。正弦扫频能激活动态特性，随机噪声增加覆盖，极限工况让模型见过急弯和强加速。
• 采样率取 50Hz 左右，和后续控制周期匹配。
• 每一帧记录当前状态、控制量和下一状态，形成训练样本。

数据预处理非常关键。输入要先归一化，不然网络训练很难收敛。输出我建议学习状态增量而不是绝对状态，也就是让网络去学“这 20ms 内状态变了多少”。这样数值更平稳，而且能和物理模型更好结合。

网络结构不用太深，两到三层的多层感知机，每层 64 到 128 个神经元就够。隐藏层用 ReLU，输出层用线性激活。损失函数先上单步 MSE，等单步能拟合得差不多了，再切成 K 步展开损失训练几十轮。优化器用 Adam 这类的自适应学习率优化器，初始学习率 1e-3 附近，具体值要看数据量。

验证阶段不能只看单步 RMSE，我更关注开环滚动预测误差：给一段真实轨迹和对应的控制序列，让模型从初始状态开始自回归预测 N 步，看它漂移多少。这一步能提前暴露复合误差问题。

3.3 在线滚动优化实现

在线控制主循环用伪代码写，大致长这样：

for t in range(T): x0 = get_current_state() u_seq = solve_nmpc(x0, nn_model, N=20, Q, R, dt) u_apply = u_seq[0] apply_control_and_step(u_apply, dt)

solve_nmpc 内部做的事情是：把 NN 模型在优化器里展开 N 步，构造代价函数和约束，对控制序列求梯度，迭代优化出最优序列。

这里有一个技术重点：如果优化框架和深度学习框架能打通自动微分，NN 的前向传播可以直接展开在代价函数里，求解器对 u 求梯度时，不需要你手推雅可比。如果优化库不支持，就得把 NN 导出的雅可比矩阵注入到优化问题里，或者用数值差分。前者高效，后者容易出数值问题。

代价函数权重方面，我从小车的经验来说，Q 里的位置误差权重可以给大一点，航向角误差适中，速度误差看场景需求。R 是控制量权重，太小会导致控制量剧烈变化，太大则响应偏软。预测时域 N 选 15 到 25 比较常见，N 大会让轨迹更平滑，但求解变慢；N 小会牺牲对障碍物的预见性。

避障约束我建议分阶段处理。第一版先做成罚函数，把“离障碍太近”这一项加到代价函数里，先让系统能避障，再去追求硬约束。一上来直接上非线性硬约束，求解器很容易因不可行而失败，调试成本很高。

3.4 小车项目里踩过的坑

第一个坑是训练数据只覆盖了低速直线，模型在急弯处预测误差直接爆表。后来我在数据里混入大转角正弦扫频，并且专门补了一批接近转向极限的数据，模型才真正见过极限区。

第二个坑是用单步损失训练出的模型，闭环控制时前几步预测偏乐观，轨迹在仿真里慢慢偏出去。改成 K 步展开损失之后，稳定性明显改善。这个现象非常典型，建议所有做预测模型的人都先看一眼自己模型的滚动预测误差，不要被单步 RMSE 骗了。

第三个坑是归一化参数没和模型一起持久化，换电脑跑实验时版本没对上，在线控制结果完全不对。现在我把归一化参数存成文件，和模型权重放在同一个目录，一起打版本。

第四个坑和初值有关。用普通零初值跑 NMPC，在急弯处偶尔会收敛到奇怪的解，表现为车辆大幅摆动。加了一个 NN 初值生成器后，优化器的迭代次数和失败率都降下来了。但这个东西不是万能药，必须保留求解器的约束校验环节。

4. 四旋翼无人机NN-MPC：更多自由度的麻烦

4.1 无人机动力学与约束

四旋翼比小车麻烦得多。状态通常包含位置、姿态、线速度、角速度，一共 12 个状态。控制量是四个电机的转速或者归一化推力指令。

位置加速度由总推力方向和重力共同决定：

加速度 = (总推力 / 质量) * 旋转矩阵第三列 - 重力

姿态角速度则受惯性力矩和陀螺力矩的影响：

角速度变化 = 惯性逆矩阵 * (力矩 - 角速度叉乘(惯性*角速度))

电机转速改变升力和力矩，升力方向又由姿态决定，姿态和位置强耦合。约束包括姿态角限幅、总推力上下限、电机转速范围，有时候还要限制位置和速度的包络。

四旋翼最烦人的地方在于模型参数不稳定。电池电压从满电降到低电量，同样的油门指令产生的推力不一样。桨叶轻微损伤，气动特性就变了。这些变化都很难用固定参数的解析模型表示。

4.2 残差模型：比端到端更稳

有人上来就训练一个端到端神经网络，直接预测 12 维状态，我强烈不建议这么做。端到端不是不行，但数据需求大、泛化差，换一套桨叶可能就要重新训练。

更稳定的做法是残差建模：

x_{k+1} = f_phy(x_k, u_k) + r_NN(x_k, u_k; θ)

f_phy 是物理模型部分，能写出多少就写多少，哪怕粗糙也比没有强。r_NN 是神经网络，只负责补偿物理模型没抓住的残差，比如电机延迟、气动阻力、重心偏移。

好处很明显：神经网络的输出是残差，量级比完整状态小很多，训练更容易收敛；物理模型兜底，就算残差网络偶尔预测不准，也不会完全离谱。我在四旋翼项目里基本只用残差结构，小车那边如果模型不够好，我也会改成这个思路。

4.3 数据采集与飞行包线覆盖

实机采数要格外谨慎。我在仿真里先采一遍，然后才在安全环境里用遥控器扫频。控制量要包含小幅高频抖动和大幅低频扫频，让姿态角充分变化。如果只围着悬停点打转，残差网络学出来的东西对飞行帮助非常有限。

要特别注意数据同步。状态和控制量必须对应同一条时间戳，否则模型会学出“幻觉动态”——明明没有的滞后也被编码进去，在线预测会变得很差。

数据要按飞行包线分段标注。低速段、高速段、大姿态角段分开评估，不要只看整体平均误差。因为部署时可能只在某个子区域飞，那个子区域的误差才是真问题。

4.4 实时性：控制频率和求解时长的博弈

四旋翼的姿态控制频率很高，但 NMPC 跑满这个频率对算力是灾难。工程上常见的是分层架构：外层 NN-MPC 跑 20 到 50Hz，负责轨迹生成和推力分配；内层用一个轻量高频控制器去稳定姿态。这样 NMPC 不需要每毫秒都出解，实时压力就缓解了。

如果非要做单层 NMPC 直接输出电机指令，那就要提前统计最坏情况下的求解时间。我吃过只测平均耗时的亏：某些姿态初值会让求解器迭代次数暴涨，控制周期瞬间失守。后来加了保护逻辑，如果求解超时，就沿用上一周期的控制量并拉高警告。

还有一个省算力的手段：预测时域从 30 步砍到 18 步，权重调一调，控制效果不至于差太多，但实时性提升明显。这个取舍需要针对具体平台做实验。

4.5 仿真到实机的迁移

仿真里训练的模型直接上真机，几乎一定会遇到差异。电机延迟、推力非线性、传感器噪声都会让预测误差变大。我常用的三个手段：

• 域随机化：训练时随机扰动电机响应、推力系数、延迟时间，让网络不要过度依赖某一组参数。
• 在线残差自适应：用最近一段飞行数据对残差网络做在线微调，但要控制学习率，避免模型突变。
• 安全守门员：如果预测误差超过阈值，立刻切到备份控制模式，或者限制控制量变化率。

我不会让 NN-MPC 在没有安全冗余的情况下单独飞实机。这条线是学术研究的热点，但落地时必须把保底手段放前面。

5. 常见问题与排查技巧实录

训练 loss 下降但闭环发散这个问题，我遇到得最多。原因是训练数据大多来自开环随机激励，而闭环控制时的状态轨迹集中在某条参考线附近，分布完全不同。解决思路不是继续加随机数据，而是先跑一个即使模型不完美也能勉强稳定的控制器，采集闭环状态，再把这些状态补进训练集。用闭环数据训练出来的预测模型，在线时会更贴合实际状态分布。

NaN 问题一般是两个来源。一个是输入特征量级差距太大，网络权重初始化后，前向传播数值爆炸；另一个是求解器迭代时控制量越过约束范围，输给了网络一个训练时从没见过的输入。前者靠归一化和梯度裁剪解决，后者靠约束合理设计解决。用残差结构能明显缓解数值波动问题。

控制量抖振在四旋翼上尤其明显。原因往往是预测模型对噪声过于敏感，本来微小的传感器噪声经过模型放大，变成控制量的剧烈变化。我在代价函数里加了控制变化量惩罚：

J = ... + R_u * sum(u_i^2) + R_du * sum((u_{i+1} - u_i)^2)

代价里加入相邻控制量的差值项，抖振会明显收敛。这也算是我最推荐的实用技巧之一。

6. 工具选型与复现工作流

6.1 框架选择

训练神经网络优先用带自动微分的动态图框架，定义网络、改损失、调优化器都很方便。NMPC 部分可以用支持非线性规划和自动微分的数值优化库，也可以自己写 SQP 或投影梯度。除非你想精读算法细节，否则不建议从零实现求解器。

仿真环境方面，小车用带物理引擎的机器人仿真平台，四旋翼用开源飞行仿真环境，都比纯 python 运动学仿真更接近真实。但前期调通逻辑，用简单的运动学模型反而更快。

6.2 一个可复用的工程目录

robot_nn_mpc/ ├── dynamics/ # 小车/无人机模型 ├── nn/ # 网络结构、损失函数 ├── data/ # 数据采集与存储 ├── train/ # 训练脚本 ├── offline_mpc/ # 生成最优轨迹作为参考 ├── online_mpc/ # 在线滚动优化主程序 ├── utils/ # 归一化、日志、数据记录 └── configs/ # 参数配置文件

我最早把训练、仿真、在线控制都写在同一个文件里，后来改代码改到怀疑人生。分开之后最大的好处是：出问题时能明确知道是“模型训练的问题”“预测模型的问题”还是“在线求解的问题”。新人做这类项目，强烈建议从一开始就按这个目录拆。

6.3 复现步骤清单

1. 搭好解析模型，跑通普通 MPC，得到基准效果。
2. 采集数据，训练 NN 预测模型，验证单步和多步误差。
3. 把 NN 预测模型嵌入 NMPC，先开环测试，不闭合。
4. 逐步闭合仿真，调 Q、R、N，加入扰动和噪声。
5. 加障碍物约束，测试避障与极端初值。
6. 实机前做硬件在环，检查约束满足情况和急停逻辑。

这套顺序帮我减少了很多“一步到位”带来的排查困难。先走通传统 NMPC 再引入神经网络，问题定位会轻松很多。

7. 参考文献与检索建议

下面列出的是检索脉络占位条目，按标题描述去学术数据库搜索，能定位到更原始的文献。

[1] 作者A. Nonlinear model predictive control with learned dynamics: survey and perspectives. 某期刊, 20XX. [2] 作者B. Neural network based prediction for automatic vehicle motion control. 某会议论文集, 20XX. [3] 作者C. Residual learning for quadrotor dynamics: bridging physics and>