微小型双足鸭形机器人：强化学习驱动的开源架构深度解析

1. 项目定位与整体设计思路

1.1 为什么选“微小型双足鸭形”这个形态

前段时间我在梳理自己手上几个开源机器人项目时，把一台只有巴掌大小的双足鸭形机器人翻出来重新做了一遍控制端重构。这个项目的标题很直白：微小型双足鸭形机器人系统深度解析，强化学习驱动的开源架构。拆开看，三个关键词其实对应了三个核心矛盾——微小尺寸带来的硬件限制、双足结构天生的不稳定控制难题、强化学习落地到真实低成本硬件时的工程化鸿沟。

先说形态选择。市面上常见的开源双足机器人大多是中型或大型平台，比如一些基于舵机堆叠的成人尺寸机器人，或者实验室里的全尺寸双足。微小型平台做双足其实很吃亏：质量轻导致抗扰动能力弱，机身小限制了电池容量，电机也得选小尺寸低扭矩型号，而这些电机的响应特性和线性度都不如大电机。之所以仍然选这个形态，是因为微小尺寸降低了整机成本，也降低了试错成本，可以让开发者在桌上就完成一轮完整的“仿真训练—真机部署—策略迭代”闭环。

鸭形外观看起来像是个噱头，但实际上帮了大忙。鸭子的重心比人形更低，而且鸭形外壳可以把电池放在胸口下方，这相当于天然给控制系统提供了更好的静态稳定裕度。鸭蹼形状的脚掌也扩大了支撑多边形，对足端落地姿态错误的容忍度比传统矩形脚掌高一些。我在初期版本做过对比测试，同样是纯位置控制下的静态站立，鸭形外壳版本的俯仰角RMS误差比矩形外壳版本低了将近30%。这说明外观设计不是装饰，而是嵌入式系统的一部分。

1.2 开源架构到底“开”在哪里

这个项目标榜的是开源架构，我需要把“开源”落到具体层次，不然容易变成喊口号。整个系统分成四层：硬件设计层、仿真环境层、算法训练层、嵌入式部署层。

硬件设计层的开源主要体现在结构件图纸和控制板选型，我早期用开源CAD工具设计鸭形外壳和腿部连杆，后来也把STL源文件放了出来。仿真环境层是标准的MuJoCo加Python绑定，整个仿真模型用URDF建模，模型参数和训练代码直接放在项目仓库里。算法训练层用的是学术界常用的PPO实现，不是自己造轮子，而是基于开源的强化学习框架做二次封装。嵌入式部署层最关键，因为模型需要在极低算力的MCU上实时推理，我用的方案是TensorFlow Lite for Microcontrollers加C语言推理引擎，把强化学习输出的策略网络直接编译进固件。

四层都有一个共同点：任何人拿到仓库之后，理论上都能用自己的硬件复现出来。这个“可复现性”是开源架构和普通代码开源的最大区别——比如我只放出训练代码但锁死仿真参数，读者训练出来的策略根本走不了路；只放出推理代码但不给训练权重，读者也无法真机部署。所以架构级的开源必须把四层链路打通，才能算真正“开源可复现”。

1.3 目标读者与技术门槛

写这篇解析之前，我先想清楚它面向谁。最核心的读者有两类：一类是机器人方向的学生和研究者，他们有算法功底但缺少真实部署经验，想知道MuJoCo里训练的模型怎么落到ESP32级别的芯片上；另一类是硬件创客，他们已经玩过Arduino、STM32、舵机云台这类项目，想让机器人“自己学会走路”而不是手写步态，但不太清楚强化学习算法具体怎么调。

因此我不打算把篇幅浪费在什么是强化学习的基础概念上，而是把重心放在工程决策：为什么P PO、为什么MuJoCo、为什么选这个状态空间、为什么模型量化到这个精度、真机调试时先看什么指标。如果你完全零基础，建议你先跑一遍OpenAI Gym倒立摆的例子再回来读，否则状态空间和奖励函数这两节会有一定跳跃感。

2. 硬件架构与运动学基础

2.1 结构设计与重心分配

微小型双足机器人的结构设计第一原则是“重心压在支撑多边形内”。鸭形外壳的模型分为头部、躯干、双腿三大部分。头部内部放Wi-Fi天线和LED灯板，躯干前侧是锂电池，躯干后侧是主控板，双腿由两组共四个微型舵机驱动，每组两个舵机构成髋关节和膝关节。

整体尺寸我控制在长90mm、宽65mm、站立高度约135mm，整机实测重量155g。腿部连杆长度是个关键的参数，我设计大腿连杆40mm、小腿连杆38mm、脚掌长度45mm。这里有一个运动学上的比例约束：脚掌长度与腿长的比值决定了稳定的难易程度，比值越大越容易静态稳定，但步幅会受限；比值太小则落脚误差容忍度低。我经过三轮迭代最终选定了45mm脚掌配78mm总腿长的比例，既保证大部分落地姿态下重心投影不越界，又不至于让鸭子步态看起来像原地跺脚。

重心位置的控制上，电池位置起决定性作用。我把电池放在了胸腹交接处，比髋关节轴低大约15mm。这个下置重心设计对双足稳定性非常关键，仿真里我对比过上置重心和下置重心两种情况，前者在零扰动条件下能走稳，但加一个5g的侧向配重就立刻摔倒；后者对同样的扰动容忍度高出一倍以上。工程上这个结论很简单：微小双足平台的扭矩本来就有限，降低重心比增大电机扭矩便宜得多。

2.2 驱动系统选型与性能边界

驱动系统是小双足最大的技术瓶颈。我早期试用过三种方案：MG90S微型金属舵机、SG90塑料齿轮舵机、以及改造过的N20减速电机加位置编码器。最终留下MG90S作为膝关节和髋关节驱动，N20方案留作备用因为位置控制精度和响应速度都不够理想。

MG90S标称堵转扭矩1.8kg·cm，实测在3.7V供电下大约1.2kg·cm，响应时间约0.08s/60度。这个扭矩对155g的机器人来说勉强够用，但余量很小。计算一下关键的角度加速度需求：假设每条腿由两个舵机分担臀部和膝盖负载，单腿支撑时髋关节需要对抗的是上半身重量产生的重力矩，上半身约90g，力臂从髋关节到重心约35mm，那么静力矩约0.32kg·cm，加上动态加速瞬间的惯性矩，峰值力矩大约在0.6到0.8kg·cm之间，接近电机极限的60%。这就是为什么我不推荐给这个平台加更多负载——摄像头加多了，走路策略就会因为电机饱和而崩溃。

舵机的PWM更新频率也踩过坑。MG90S这类模拟舵机理论上支持50Hz到330Hz的PWM信号，但频率太高会导致舵机内部电路发热和位置抖动。我最终锁定在100Hz更新率，配合50Hz的控制策略周期，让策略输出到舵机指令之间只有10ms的延迟窗口，既保证了控制带宽，又不会让舵机过载。

2.3 传感器配置与状态反馈

强化学习策略在仿真里可以完美读到自己所有关节角度和角速度，但真机拿不到这些东西。我在这个项目里用的传感器组合是：MPU6050六轴惯性测量单元提供机身俯仰角和角速度，腿部关节位置由舵机内部电位计反馈，脚底压力通过两个FSR薄膜压力传感器做触地检测。

传感器选型有一个容易被忽略的坑：MPU6050安装在机身上的位置会直接影响数据质量。放在舵机旁边会被舵机电磁干扰，放在电池背面会被锂电池散热影响零点漂移，最终我放在主控板PCB上远离舵机排线的一侧，并且在固件里做了低通滤波和零点校准。惯性测量数据的处理要区分两种任务：姿态解算时互补滤波就够了，但强化学习策略的观测向量里用的是原始角速度和滤波后角度的组合，不是只喂一个滤波信号。原因是策略网络需要利用角速度的高频成分来感知动态趋势，过度滤波反而会让控制延迟变大。

3. 仿真环境搭建与强化学习训练链路

3.1 MuJoCo仿真环境为什么适合这个场景

训练双足步行策略，仿真环境的选择基本决定了一半的成败。市面上主流的选择有MuJoCo、PyBullet、Isaac Gym三类，我的结论是微小型低速步行场景选MuJoCo性价比最高。

选MuJoCo的核心原因有三个。第一，它的接触模型很成熟，对足端与地面的交互仿真比较准确，而且求解速度快，普通笔记本就能跑数千个并行环境采样；第二，它支持导入URDF，意味着我能用与硬件完全一致的连杆参数建模型，不需要像PyBullet那样重新手写几何体；第三，MuJoCo的MJCF格式允许我独立设置每个关节的驱动模式，对舵机这类位置驱动型电机仿真很友好，函数关系折线图一目了然。

仿真环境的建模不只是搬运URDF那么机械。我把舵机的位置带宽和延迟都近似建模进去了，具体做法是给关节驱动加一个一阶低通滤波，时间常数设为0.02秒，模拟舵机的有限响应速度。如果不加这个环节，仿真里训练出的策略动作频率会非常高，但真机舵机根本跟不上一秒钟十几下的高频摆动，这就是Sim-to-Real迁移失败的典型原因。

3.2 从零搭建训练系统的代码骨架

项目训练链路的代码结构不复杂，但每一行的参数选择都有讲究。我用的开源框架是基于PPO的参考实现，前端包装了一个环境子类，把MuJoCo模型和训练器连接起来。核心的类划分是：机器人环境类负责状态读取、动作执行和奖励计算；策略网络类负责从观测到动作的映射；训练器类负责PPO的更新循环和日志输出。

基础训练配置表我整理一下供参考：

训练的总步数我设置了1000万步，在单张消费级显卡上大约跑8到12个小时。训练过程中需要持续观察每个回合的回报均值和步态特征，而不能只看损失函数数值。

3.3 URDF模型与参数量化的坑

建仿真模型时最容易出错的地方是质量、惯量和摩擦系数的匹配。URDF文件里可以直接写质量，但惯性张量如果用几何体近似计算，和真机误差可能高达30%。我的做法是：先导出STL几何体，用CAD工具自动算惯性张量，再填回URDF。这一步非常关键，因为强化学习策略实际上是在“感受”刚体的动力学特性，惯量错得离谱，学出来的步态就会显得僵硬或者打滑。

摩擦系数的设置要区分两个表面：脚底与地面、关节内部的阻尼。地面摩擦系数我设置成0.6到1.0之间的随机值，这样训练出来的策略不会过度依赖某一个摩擦条件。关节阻尼则直接按照舵机齿轮机械损耗的估计值设定，理论值之外我加了软约束来限制关节角速度过大，防止策略生成不切实际的快速摆动。

4. 强化学习算法设计与奖励工程

4.1 状态空间和动作空间怎么定义才算合理

状态空间的定义决定了策略能“感知”到什么。这个项目中我使用的状态向量是14维：机身俯仰角、俯仰角速度、机身横滚角、横滚角速度、左髋关节角度、左膝关节角度、右髋关节角度、右膝关节角度、前后两组触地传感器的二进制值、角速度Z轴分量、以及上一步的四个关节动作。我把上一步动作放入状态空间的目的是让策略获得动作惯性，这在舵机响应有延迟时特别有用。

很多初学者会犯把IMU原始数据直接喂给网络的错误。MPU6050的加速度计噪声很大，直接把三轴加速度放进状态空间，PPO训练出来的策略会把噪声当信号学，步态会变得很抖。我建议的处理方式是：姿态角度用互补滤波融合，角速度保留原始值做带通滤波去零漂，触地信号直接二值化。状态输入要保证每个维度都是“有意义的控制学反馈”，而不是“能读到的所有数据”。

动作空间的设计我选择了连续动作空间，四个维度对应四个舵机的目标角度。输出范围限制在-1到1之间，映射回实际关节范围时，髋关节是-30度到30度，膝关节是0度到60度。每个关节的方向约定必须和仿真里的旋转轴定义一致，这个映射写反一处在仿真里可能不明显，真机上会直接导致走路策略反向。

4.2 奖励函数的工程化设计思路

奖励函数设计是强化学习落地中最难量化、也最影响结果的部分。我一开始直接用了论文里常见的前进速度奖励加姿态惩罚组合，步态倒是学出来了，但走得很奇怪：左右摆动幅度过大，像一个摇摇晃晃的醉鸭，每走一步机身都要横滚个十几度。

经过两轮修改，我的最终奖励函数在三组奖励项上做了权重分配：

姿态稳定惩罚的细节值得展开。我不用二次函数去惩罚角度偏差，而是用一次函数加上死区：机身角度在正负2度以内不惩罚，超过2度后线性增大惩罚。死区的设计让早期训练时策略能利用轻微的前倾姿态换取更高效的加速，而不是永远保持绝对直立。能耗惩罚本来加到2.0时确实让步态非常节省，但是走速大幅下降，转弯也变得困难，所以最终压到0.8才拿到相对均衡的效果。

4.3 PPO超参数调优的真实观察

调PPO参数的过程我把结论直接说：学习率、裁剪系数、GAE系数三个参数的影响最大，并行环境数影响的主要是训练速度而不是最终效果。

我踩过最典型的一个坑是并行环境数太大导致的训练崩溃。把并行环境数从4096调高到16384后，单步更新的批内数据差异变得很大，PPO的目标函数估算方差上升，最后训练到三百万步时策略出现了周期性的摔倒复出循环。我的解决方式是把批大小和学习率同步降低，让每步更新幅度更保守，同时提高了GAE系数到0.97来平滑优势估计。

还有一个关于奖励尺度的问题。我在实验中发现回报数量级从几十变化到几百时，PPO的性能波动非常大。解决方式是在训练脚本里强制对奖励做running normalization，用一个滑动均值方差来归一化每步获得的奖励，而不是依赖PPO内部的reward scaling机制。这个改动的效果在跨种子训练时表现得很稳定，五个随机种子都能收敛到相近的回报水平。

5. 模型导出与真机部署的最后一公里

5.1 从PyTorch到MCU的模型压缩链路

仿真训练完成的策略网络是一个全连接神经网络，结构上是128个隐藏单元的两层MLP，输入14维输出4维，参数量大约在7000个左右。这个规模放到ESP32上做FP32推理并不困难，但我想让主控还能同时跑姿态解算、Wi-Fi日志回传和LED控制，所以把模型做了8比特整型量化。

量化流程用的是TensorFlow Lite for Microcontrollers的标准路径：先把PyTorch权重导出为ONNX格式，再用ONNX转TFLite的转换器做量化，最后通过xxd工具转成C数组嵌入固件。中间还有一个关键步骤是校准数据集准备，我跑了200条不同步态的仿真轨迹，随机采样5000个状态向量，作为量化校准的输入分布。这样比直接拿随机数校准的精度损失要小得多，实测量化前后步态成功率几乎没变化。

量化精度损失的验证必须在真机做，而不是只看数值比较。我做了三组对比：FP32浮点在真机运行、8比特量化在真机运行、FP32在仿真运行。结果量化模型的步行速度比仿真模型慢了约7%，但俯仰角稳定性和摔倒率几乎一致。这说明模型压缩在这类低维控制策略上不会成为瓶颈，真正的瓶颈就是舵机响应和机械公差。

5.2 实时控制循环与通信架构

真机控制程序的架构是一个固定频率50Hz的控制循环，结构按照任务优先级排列：第一个时间片读取MPU6050原始数据并做姿态解算；第二个时间片读取舵机电位计反馈的关节位置；第三个时间片组装14维状态向量，送入量化模型推理；第四个时间片把推理结果映射成PWM信号并更新舵机；最后在空闲时间片处理蓝牙调试命令和日志上报。

这里有三个容易翻车的细节。第一，MPU6050的IIC读操作如果放在主循环的固定点而不是用DMA处理，总线交互时间会挤占控制周期。我改用硬件IIC加中断的方式，让读传感器的时间和应用代码并行。第二，舵机PWM更新时如果逐通道轮流更新，会产生几十毫秒的多舵机相位差，四个舵机实际动作时间不同步会影响步态。我把四个PWM通道放在同一个定时器的不同比较寄存器上，通过一个定时器中断同步更新，确保四路舵机在同一瞬间进入新位置。第三，模型推理时间不可预估时会导致控制周期抖动，我用堆栈形式的协程调度器来保证50Hz周期内推理时间固定，超出时间片的部分强制丢弃新动作输出。

5.3 Sim-to-Real迁移的域随机化实践

真机运行效果和仿真效果的差距根源在于仿真模型不精确，域随机化是缓解这个问题的标准做法。我在训练时对以下参数做了随机化处理：腿连杆长度加减3毫米、舵机力矩上限加减20%、关节阻尼系数加减30%、地面摩擦力从0.4到1.2随机采样、初始机身姿态从零位偏移正负5度。

域随机化的范围不能盲目加大。有一次我把腿长随机范围改到正负10毫米，策略在仿真里表现仍然正常，因为仿真里的自适应能力被“锻炼”出来了，但真机上连杆长度虽然有偏差，舵机行程范围和碰撞约束是固定的，过大的随机范围反而让策略被迫选择过于保守的步态，走速明显下降。所以我最终锁定的随机范围都是贴着制造公差的上限来设置，既保证策略能容忍差异，又不会因为范围过大而牺牲性能。

6. 真机调试经验：一轮完整的“走起来十万步”测试

6.1 从能站到能走的三个里程碑

强化学习训练出的策略直接部署到真机，绝大多数情况下会走不出前两步。我的调试流程按三个里程碑推进：静态站稳、迈出第一步、稳定连续走五步。三个阶段的问题本质完全不同。

静态站稳阶段，策略基本不依赖步态，问题主要集中在姿态解算和动作零位校准。把这个阶段通过的方法是：确保机身自然前倾角度和仿真初始状态一致，否则策略会认为机身水平时是前倾，持续后仰修正。具体校准方法是在水平桌面让机器人断电放平，记录MPU6050的原始数据作为零偏。

迈出第一步阶段，问题集中在动作映射的正负方向。这一步我在仿真里做了专门的自动化测试：逐个关节输出正向大步幅动作，记录机身位移方向，再和真机对比。发现髋关节的旋转方向在真机和仿真里反相后，重新调整了动作映射表的符号。

稳定连续走五步阶段才是真正考验策略鲁棒性。这阶段的问题大多是机械细节导致的，比如脚掌螺丝松紧不一致会导致触地信号提前或延迟。我的经验是拧螺丝时四个角按对角线逐步加力，保证脚掌下表面平整度误差小于0.5毫米，这比改任何算法参数都有效。

6.2 最常见的五类失败模式排查表

真机调试三个月，我总结出最常见的五类失败模式，列成速查表可以帮后来者少走弯路。

重点聊一下“走完两步后原地转圈”这个现象。它的隐蔽点在于两只舵机型号相同、额定扭矩相同，但实际批次之间存在差异，同一PWM信号下左右腿实际角度偏差可能到三度。三度偏差在静态站立时完全看不出影响，但在动态步行中每步都会积累一个横向偏航力矩，到第五步时就显著偏离了直线。我最终的解决方案分两层：先做一次舵机角度标定，测出每个舵机的PWM到角度的特异映射曲线，存到固件里做补偿；再在控制循环里增加了一个偏航角反馈修正项，当偏航角大于5度时让策略在下一帧的基础上叠加上一个反向横滚修正角。

6.3 电量管理与持续运行时间的优化

微小型双足机器人的续航短得让人心疼。我最初用的是一块300毫安时锂电池，满电连续步行大约只能跑4分钟。后来通过三个手段优化到了11分钟。第一是降低控制策略频率从50Hz降到40Hz，对步态的直接影响不明显，但舵机PWM更新少了，舵机始终保持低功耗待机状态；第二是增加了一个电源管理策略，站姿保持超过10秒自动进入关节锁定低功耗模式，不再持续输出PWM信号；第三是把LED板从常亮改成状态闪烁，单这一项减少了约60mA的电流消耗。

电量对强化学习策略的影响比很多人想象中严重。电池电压从4.2V降到3.7V时，舵机实际输出力矩会下降约25%。如果策略是贴着额定力矩极限训练出来的，低电量时就会频繁摔倒。我的解法是在模型输入向量里加入了一维电池电压归一化值，让策略学会根据当前电压调整步幅和频率。这个改造虽然增加了状态维度，但对低电量环境的鲁棒性提升是非常明显的，真机上电量降到3.8V时依然能保持稳定慢走。

7. 开源的边界：这套架构能往哪里延伸

7.1 与人形机器人电气拓扑的对照关系

看完这套微小型双足鸭形系统的解析，再做一次技术映射，你会发现它几乎是一个微型人形机器人电气拓扑的简化版。人形机器人的电气拓扑一般包含：主控计算单元、躯干惯性测量单元、关节伺服驱动模块、分布式传感器总线、电源管理单元和外部通信接口。我做这个小平台时，把这些模块全部压缩到了一块4层PCB上，主控ESP32作为计算核心，传感器挂在同一个IIC总线上，舵机通过PWM定时器驱动，电源管理用一颗锂电池保护芯片加DC-DC稳压实现。

理解这种拓扑对应关系有两个实际好处。一方面，如果后续想把这个小平台扩展成多轴版本，只要增加舵机驱动通道和更大的供电余量，电气架构不需要推倒重来；另一方面，调试思路完全通用——先保证供电质量，再校准传感器零偏，最后才谈算法参数。这个顺序在任何规模的机器人项目里都不会错。

7.2 从鸭形双足到更复杂形态的扩展路径

强化学习驱动的开源架构做完了双足步行，下一步可以往多个方向扩展。最简单的是给鸭形机器人加一个转动头部舵机，把鸭脖做成第二个俯仰轴，这会增加一维动作，训练难度变化不大，但视觉形态会更生动。中等难度的是把腿部从两个关节升级成三个关节，在髋关节增加外摆自由度，这就是从双足向四足或拟人形态过渡的关键改动。高难度方向则是引入视觉传感器，把策略从纯反馈控制变成带预见性的视觉闭环控制，这类项目通常会用到目标检测网络加强化学习的联合训练架构。

我个人的倾向是先把仿真到真机的域随机化做得更精细，再考虑形态扩展。因为每一个新增的动作维度都会放大舵机机械误差和传感器噪声对策略的影响，如果没有一套完善的Sim-to-Real迁移工具链，扩展形态只会让调试工作量成倍增加。开源架构的精髓不是“暴露所有代码”，而是“让后来者能沿着一条验证过的路径重新走通”，这条路径在多形态扩展时依然成立。

8. 实战经验总结与扩展建议

8.1 这个项目最值得复用的三个设计决策

复盘整个项目，我认为最值得后来者直接复用的是三个设计决策。第一，控制频率和仿真频率完全一致的设定，这让策略从仿真迁移到真机时不需要任何频率映射，我在其他项目里看到太多人因为仿真频率是200Hz真机只能跑到30Hz而反复调参。第二，状态空间加入电池电压归一化值和上一步动作量，前者让策略自适应电量衰减，后者让策略感知动作惯性，这两个设计让真机步态的稳定性上了个台阶。第三，域随机化范围贴着制造公差上限走，而不是图省事随便扩大，这让策略在仿真里学到的正是真机需要的鲁棒性，不会因为过度保守的性能损失而牺牲步行速度。

8.2 给开源复现者的三条建议

如果有人真的想照着这套架构复现一台鸭形机器人，我最想强调的建议有三条。不建议上来就自己做4层PCB，先用开发板加舵机驱动板打通训练到部署的完整链路，再考虑定制硬件。我见过太多人第一版PCB画错了舵机电源走线，结果整板回流焊完发现电流不足，最后又退回开发板调试。建议把训练和真机调试看作一个整体，在训练阶段就留好真机调试用的日志接口，比如在固件里加一条蓝牙透传命令把状态向量实时打印出来，否则后续定位步态问题会非常痛苦。不见得每个小平台都要用独立IMU传感器，如果你的机器人结构足够紧凑、重心足够低，只用舵机电流反馈和关节角度也可能走出不错的步态，但这需要额外设计一套电流到力矩的估算模型，工程量大很多。

8.3 继续深入的方向和资源指向

这个项目做到现在这个程度，已经足够支撑一篇完整的技术拆解，但它的剩余空间还很大。我个人下一步的计划是在仿真里加入随机地形和地面高度场，让策略学会在不平整地面上踏步；真机端则准备加入一个低分辨率摄像头模组，试验用小尺寸视觉模型做落脚点判断和地形分类。做机器人控制久了你会发现，强化学习策略本身的学习能力早就超过了我们手动设计的控制律，真正的瓶颈反而是传感器噪声、执行器极限、机械公差这些物理世界的“脏”因素。能把这些脏因素建模得越准确，策略迁就越顺利，这也是我认为整套开源架构体系里最值得持续投入的方向。

最后分享一个小经验：不要把强化学习当作一劳永逸的方案。第一次训练出能走路的策略之后，大概率会兴奋地拍一段视频发朋友圈，但实际上它只能在特定电量、特定地面、特定负载下稳定行走。真正的工程化过程是反复做鲁棒性测试、找失效边界、再回头补仿真随机域。这个循环没有终点，但每走完一圈，对“机器人到底是怎么学会走路的”这个问题就会理解得更深一层。