等变多智能体强化学习在车路协同交通优化中的应用与实践

1. 项目概述：当多智能体强化学习遇上“等变”与“车路协同”

最近在搞一个挺有意思的项目，核心就是标题里这个“Equivariant Multi-agent Reinforcement Learning for Multimodal Vehicle-to-Infrastructure Systems”。名字很长，但拆开来看，其实讲的是怎么用一套新的强化学习框架，去解决一个非常具体的现实问题：多模态车路协同系统中的交通流优化。我干了这么多年AI和交通交叉领域的研究，感觉这个方向算是把当前几个最热的技术点——多智能体强化学习（MARL）、等变性（Equivariance）和车路协同（V2I）——给拧到一块儿了，野心不小，但一旦做通，价值也很大。

简单来说，我们面对的场景是这样的：在一个复杂的城市路口或者一段高速公路上，有各种各样的交通参与者，比如小汽车、公交车、货车，甚至未来的自动驾驶车队，这些是“车”（Vehicle）；同时，路边还有一堆智能设备，比如交通信号灯、路侧单元（RSU）、摄像头、雷达传感器，这些是“基础设施”（Infrastructure）。所谓“多模态”，指的就是这些参与者感知环境、做出决策所依赖的数据和信息来源是多种多样的，比如视觉图像、点云雷达、通信报文、历史流量数据等等。传统的控制方法，比如固定配时的红绿灯，或者一些简单的自适应算法，在这种高度动态、异构、信息丰富的场景下，往往力不从心。

那多智能体强化学习（MARL）自然就成了一个很自然的候选方案。我们可以把每个交通信号灯、每辆具备决策能力的车都看作一个智能体（Agent），它们通过与环境（也就是整个交通网络）交互，学习如何调整信号相位、选择行驶路线或速度，来共同优化一个全局目标，比如减少所有车辆的总旅行时间、降低拥堵、提升路口吞吐量。但经典的MARL方法在这里会遇到几个硬骨头：首先是“维度灾难”，智能体数量一多，联合状态和动作空间就爆炸了，学习效率极低；其次是“非平稳性”，每个智能体都在学习改变策略，导致其他智能体眼中的环境一直在变，训练不稳定；最后，也是最关键的一点，交通系统本身具有很强的对称性或不变性。

什么叫对称性？想象一个标准的十字路口。你把整个路口旋转90度、180度或者270度，或者沿着中心点做镜像翻转，这个路口的拓扑结构、车流冲突关系本质上没有变。东进口道的左转车和西进口道的左转车，在对称变换下，扮演的角色是等价的。传统的神经网络或者MARL算法，并没有显式地利用这种先验知识。它们需要从海量数据中去“死记硬背”所有这些对称情况下的策略，这无疑是巨大的样本浪费和效率低下。

这时候，“等变性”（Equivariance）就该登场了。等变神经网络是一类特殊的网络架构，它被设计成对于输入数据的某种变换（比如旋转、平移、镜像），其输出也会以一种可预测的、相对应的方式变换。把等变性引入到MARL中，就形成了“等变多智能体强化学习”（Equivariant MARL）。它的核心思想是：让智能体学到的策略函数或价值函数，本身就具备对交通场景对称变换的等变性。这样一来，模型就内嵌了对物理世界对称性的认知。一个智能体在“东进口道”学到的关于处理左转车的策略，可以直接、正确地迁移到“北进口道”的相似情境中，因为模型知道这两个方向在对称变换下是等价的。这相当于给模型注入了一个强大的归纳偏置（Inductive Bias），能极大地提升样本效率、泛化能力和最终的策略性能。

所以，我们这个项目的目标，就是构建一个Equivariant MARL框架，并把它应用到整合了多种数据源（多模态）的车路协同系统中，去实现更智能、更高效、更鲁棒的交通协同控制。接下来，我会详细拆解这里面的设计思路、技术实现细节、踩过的坑以及一些实用的心得。

2. 核心设计思路：如何将等变性“编织”进多智能体系统

直接上代码和公式之前，我们必须先把顶层设计思路理清楚。为什么是等变MARL？它比普通MARL好在哪？具体到车路协同场景，我们又该如何定义这里的“等变性”？

2.1 从对称性到等变性：交通系统的内在几何结构

交通网络，特别是道路交叉口，具有鲜明的几何特征。我们主要关注两种对称性：

1. 离散旋转对称性：对于一个标准的四相位十字路口，它天然具有C4（90度旋转）对称性。将路口旋转90度，东、南、西、北四个方向循环置换，但交通冲突的数学关系保持不变。
2. 反射（镜像）对称性：许多路口也关于中心轴线对称。例如，东西方向的车流是对称的。

在数学上，这些对称操作构成一个“群”（Group），比如循环群C4或二面体群D4。等变神经网络要求网络层函数f满足：对于群G中的任意变换g，有f(ρ_in(g)x) = ρ_out(g)f(x)。其中ρ_in和ρ_out分别是输入和输出表示空间上的群作用。简单理解：你对输入数据做一个旋转（g），那么网络的输出也会做一个相应的旋转。

在交通场景中，输入x是什么？它可能是一个从上帝视角（比如高清地图）看到的栅格化交通状态图，其中每个通道代表不同信息（车辆密度、速度、排队长度等）。对这个图做90度旋转，就相当于把路口的每个方向都轮换了一次。一个等变的策略网络，当输入图像旋转后，它输出的动作（比如给每个相位分配绿灯时间）也应该相应地旋转。这意味着，网络学到的不是某个具体方向（如“东方向”）的策略，而是一个与方向无关的、通用的“如何处理一个进口道”的规则。这直接解决了样本效率问题，因为学习一个方向的样本，就等于学习了所有对称方向。

2.2 多智能体框架选择：中心化训练与分散式执行

在MARL中，CTDE（Centralized Training with Decentralized Execution）架构几乎是解决大规模协同问题的标准选择。训练时，我们有一个中心化的评论家（Critic）可以获取全局状态信息，来指导各个智能体（执行者，Actor）的策略学习；执行时，每个智能体只依赖自身的局部观测做出决策，这保证了系统的可扩展性和实时性。

我们的框架自然采用CTDE。但关键在于，我们要将等变性同时注入到执行者（Actor）网络和评论家（Critic）网络中。

• 等变执行者（Equivariant Actor）：每个智能体（如一个信号灯）的策略网络π_i(o_i)是等变的。这里o_i是该智能体的局部观测（例如，它所能感知到的几个进口道的车辆信息）。等变性保证了即使观测到的交通模式发生了旋转（比如主车流方向变了），策略网络输出的动作（相位选择或绿灯时长）也会做出合理且一致的旋转对应。
• 等变评论家（Equivariant Critic）：中心化的评论家网络Q(s, a)也是等变的。其中s是全局状态（如整个路网的状态图），a是所有智能体的联合动作。评论家的等变性至关重要，它确保了价值评估本身也尊重系统的对称性。在训练时，这能提供更准确、更一致的梯度信号来更新所有智能体的策略。

最近热门的“actor-attention-critic”架构在这里可以很好地融入。Attention机制（注意力机制）允许智能体之间进行结构化的信息交互。我们可以设计等变的注意力层。在计算智能体i对智能体j的注意力权重时，如果i和j在空间上处于对称位置（比如分别控制东西向和南北向的信号灯），那么等变性可以保证他们之间的注意力关系在对称变换下是保持不变的。这比普通的注意力机制更能捕捉交通网络中固有的、与几何位置相关的交互模式。

2.3 多模态信息融合：等变框架下的数据“对齐”

“多模态”是我们的另一个核心。车路协同系统中的数据来源多样：

• 基础设施模态：高清地图（矢量/栅格）、信号灯当前状态、检测器数据（线圈、视频车辆计数、排队长度）。
• 车辆模态：通过V2I通信上报的车辆状态（位置、速度、目的地）、感知数据（车载摄像头/雷达的融合结果）。
• 环境模态：时间（早晚高峰）、天气、特殊事件（事故、施工）信息。

这些数据具有不同的形式：图像（地图）、序列（流量数据）、向量（车辆状态）、标量（时间）。直接将它们拼接起来输入网络会丢失大量结构信息，并且难以保证等变性。

我们的设计是分层融合与等变表示对齐：

1. 模态特异性编码：每个模态的数据先通过一个专用的编码器（Encoder）转换为一个中间特征表示。例如，地图图像使用等变卷积网络（E-CNN），交通流序列使用等变循环网络或Transformer，车辆状态向量使用等变多层感知机（E-MLP）。
2. 等变特征空间对齐：关键一步是确保所有模态编码器输出的特征，都存在于同一个群表示空间中。例如，我们都将它们映射到在C4群作用下具有明确变换规律的特征空间。这可能需要设计特殊的投影层或利用群表示理论进行协调。
3. 跨模态等变融合：在统一的等变特征空间中，使用等变操作（如等变求和、等变拼接、等变注意力）来融合多模态信息。这样产生的联合表示，天然继承了各模态的语义信息，同时保持了整个系统所需的几何对称性。

这个设计思路确保了从原始多模态数据到最终决策的整个信息流，都贯穿着对交通系统核心对称性的尊重和利用。

3. 关键技术实现：构建等变MARL智能体的核心模块

理论说再多，不如看看具体怎么搭。这里我分享我们实现中的几个核心模块，包含一些关键的代码片段和设计考量。

3.1 等变神经网络层的基础：群卷积与标量-矢量场

实现等变网络，目前最主流的方法是使用群卷积。对于我们的交通场景（主要是离散旋转），可以使用e2cnn或torch-geometric等库中实现的CyclicGroup卷积。

import torch import e2cnn.nn as enn import e2cnn.gspaces as gspaces # 定义对称群：C4，即90度旋转 r2_act = gspaces.Rot2dOnR2(N=4) # N=4 表示4阶循环群，即90, 180, 270, 360度 # 定义输入和输出的群表示类型 # 输入：假设是1个通道的普通标量场（在旋转下不变），类型为“平凡表示” trivial_repr in_type = enn.FieldType(r2_act, [r2_act.trivial_repr] * 1) # 输出：我们想要8个通道，其中4个是标量场（不变），4个是正则表示（在旋转下按特定规则变换） out_type = enn.FieldType(r2_act, [r2_act.trivial_repr] * 4 + [r2_act.regular_repr] * 1) # regular_repr本身是4维 # 创建一个等变卷积层 equi_conv = enn.R2Conv(in_type, out_type, kernel_size=3, padding=1) # 前向传播 input_geom_tensor = enn.GeometricTensor(torch.randn(1, 1, 32, 32), in_type) # [batch, channel, height, width] output_geom_tensor = equi_conv(input_geom_tensor) print(output_geom_tensor.shape) # torch.Size([1, 8, 32, 32]) print(output_geom_tensor.type) # 输出张量的表示类型

这里的关键是理解FieldType。它定义了张量中每个通道在群变换下应该如何变化。trivial_repr（平凡表示）意味着通道是标量，旋转后不变；regular_repr（正则表示）意味着通道是一个“场”，旋转后通道内的值会按特定规则循环置换。在交通图像中，不同方向的车流信息可以用正则表示来编码，这样旋转图像时，车流信息会自动“流”到正确的方向上。

3.2 等变多智能体Actor-Critic网络架构

基于上述基础，我们可以构建智能体的策略网络（Actor）和中心化评论家网络（Critic）。

等变Actor网络（局部观测）： 假设每个信号灯智能体的观测o_i是一个小的局部交通状态图（例如，聚焦于该路口的4个进口道）。

class EquivariantActor(nn.Module): def __init__(self, input_shape, action_dim, group_order=4): super().__init__() self.gspace = gspaces.Rot2dOnR2(N=group_order) # 输入：1通道的局部栅格图（车辆密度） in_type = enn.FieldType(self.gspace, [self.gspace.trivial_repr] * input_shape[0]) # 中间层：逐步提取等变特征 self.block1 = enn.SequentialModule( enn.R2Conv(in_type, enn.FieldType(self.gspace, [self.gspace.regular_repr]*16), kernel_size=3, padding=1), enn.InnerBatchNorm(...), enn.ReLU(enn.FieldType(self.gspace, [self.gspace.regular_repr]*16)) ) self.block2 = ... # 更多等变层 # 最终层：映射到动作空间。动作可能是每个相位的绿灯时长（连续值）或相位选择（离散） # 对于连续动作，我们需要输出一个与方向无关的标量（平凡表示） self.action_head = enn.R2Conv(..., enn.FieldType(self.gspace, [self.gspace.trivial_repr]*action_dim), kernel_size=1) # 对于离散动作（如选择1-4个相位），输出可以是4个标量，经过softmax self.phase_logits_head = enn.R2Conv(..., enn.FieldType(self.gspace, [self.gspace.trivial_repr]*4), kernel_size=1) def forward(self, obs_geom_tensor): x = self.block1(obs_geom_tensor) x = self.block2(x) # 假设是连续动作 action_features = self.action_head(x) # 将几何张量转换为普通Pytorch张量，并取全局平均池化得到动作向量 action = torch.mean(action_features.tensor, dim=[2,3]) # [batch, action_dim] mean = torch.tanh(action) * scale # 假设输出范围在[-scale, scale] # 如果需要，可以同时输出动作的方差 return mean

注意：这里的一个关键细节是，最终的动作输出必须是群作用下的标量（平凡表示）。这意味着无论观测如何旋转，输出的动作值（如绿灯时长）应该是相同的。对于相位选择，4个相位的logits也应该是标量，这样softmax后的概率分布在旋转下会相应地轮换，这正是我们想要的：当交通模式旋转，最优的相位选择也跟着旋转。

等变Critic网络（全局状态）： Critic的输入是全局状态s和所有智能体的联合动作a。s可以是一个更大的路网状态图。我们需要将联合动作a也编码成一个与空间位置相关的等变特征，然后与状态图融合。

class EquivariantCritic(nn.Module): def __init__(self, state_shape, num_agents, action_dim_per_agent, group_order=4): super().__init__() self.gspace = gspaces.Rot2dOnR2(N=group_order) # 状态编码器 self.state_encoder = ... # 一系列等变卷积层，输出一个等变特征图 F_state # 动作编码器：将每个智能体的动作（标量）根据其地理位置，嵌入到特征图中 # 假设我们知道每个智能体在全局地图上的坐标 (x_i, y_i) # 我们可以创建一个和状态图同样空间大小的“动作特征图”，在智能体坐标处填充其动作向量，其余为0。 # 这个过程需要是等变的：即旋转地图时，动作向量的填充位置也要跟着旋转。 # 一种实现是使用可学习的等变卷积核，以智能体位置为条件进行卷积。 self.action_embedder = ... # 将动作和位置编码成等变特征图 F_action # 融合层：将 F_state 和 F_action 在等变特征空间下融合（例如相加） self.fusion = enn.PointwiseAdd(...) # 等变的逐点相加 # Q值预测头：最终输出一个全局的标量Q值 self.q_head = enn.SequentialModule( ..., enn.R2Conv(..., enn.FieldType(self.gspace, [self.gspace.trivial_repr]*1), kernel_size=1) ) def forward(self, state_geom_tensor, agent_actions, agent_locations): F_s = self.state_encoder(state_geom_tensor) F_a = self.action_embedder(agent_actions, agent_locations) # 需要自定义这个等变嵌入层 fused = self.fusion(F_s, F_a) q_value = self.q_head(fused) # 对特征图所有空间位置取平均，得到最终的标量Q值 q = torch.mean(q_value.tensor, dim=[2,3]).squeeze(-1) # [batch_size] return q

实操心得：实现action_embedder是难点之一。一个相对简单但有效的办法是，将每个智能体的动作向量a_i先通过一个MLP扩展成一个小的等变特征块（例如一个 3x3 的等变特征小图），然后根据智能体的坐标(x_i, y_i)，将这个特征块“粘贴”到一个全零的、与状态图同分辨率的基准图上。粘贴操作需要使用双线性插值，并且要确保这个粘贴过程在数学上是“等变”的，即旋转地图和坐标时，粘贴的结果也正确旋转。这通常需要仔细设计坐标网格的变换。

3.3 基于注意力机制的等变智能体通信

在actor-attention-critic框架中，注意力机制用于智能体之间的信息交换。我们可以构建一个等变的注意力层。假设每个智能体i有一个等变特征h_i（来自其观测编码器）。

class EquivariantMultiHeadAttention(nn.Module): def __init__(self, feature_dim, num_heads, group_order): super().__init__() self.num_heads = num_heads self.feature_dim = feature_dim self.gspace = gspaces.Rot2dOnR2(N=group_order) # 定义Q, K, V的等变线性变换 # 注意：注意力计算通常发生在“标量”特征上。我们需要先将等变特征 h_i 通过一个等变层投影到标量空间。 self.to_scalar = enn.R2Conv(..., enn.FieldType(self.gspace, [self.gspace.trivial_repr]*feature_dim), kernel_size=1) # 然后对得到的标量特征应用标准的线性层得到Q, K, V self.q_linear = nn.Linear(feature_dim, feature_dim) self.k_linear = nn.Linear(feature_dim, feature_dim) self.v_linear = nn.Linear(feature_dim, feature_dim) def forward(self, agent_features_geom_tensor): # agent_features_geom_tensor: [batch, num_agents, channels, height, width] 的几何张量 batch, num_agents, _, h, w = agent_features_geom_tensor.shape # 1. 转换为标量特征 scalar_features = self.to_scalar(agent_features_geom_tensor).tensor # [batch, num_agents, feature_dim, h, w] # 为简化，我们取空间位置的平均作为该智能体的特征向量 agent_vecs = torch.mean(scalar_features, dim=[3,4]) # [batch, num_agents, feature_dim] # 2. 计算Q, K, V Q = self.q_linear(agent_vecs).view(batch, num_agents, self.num_heads, -1).transpose(1,2) K = self.k_linear(agent_vecs).view(batch, num_agents, self.num_heads, -1).transpose(1,2) V = self.v_linear(agent_vecs).view(batch, num_agents, self.num_heads, -1).transpose(1,2) # 3. 计算注意力分数（这里忽略了位置编码，实际中可以加入相对位置编码，且该编码也应是旋转等变的） attn_scores = torch.matmul(Q, K.transpose(-2, -1)) / (self.feature_dim ** 0.5) attn_probs = F.softmax(attn_scores, dim=-1) # 4. 加权求和 context = torch.matmul(attn_probs, V) # [batch, num_heads, num_agents, head_dim] context = context.transpose(1,2).contiguous().view(batch, num_agents, -1) # 5. 将上下文信息转换回等变特征图形式（可选，如果需要与原有等变特征融合） # ... 可能需要一个上采样和等变卷积层，将 context 向量映射回空间特征图 return context, attn_probs

注意事项：等变注意力层的设计需要权衡。完全在等变特征空间（而非标量空间）做注意力计算非常复杂，因为键、查询、值都需要是等变张量，而点积运算需要在内积空间定义。上述方法是一种实用的折中：先将等变特征池化为与方向无关的标量向量，然后在标量空间进行注意力计算。这虽然损失了部分方向性交互的精细度，但大大简化了实现，并且对于许多交通协同任务（信号灯协调）来说，智能体间需要交换的往往是“拥堵程度”、“请求通过权”等汇总信息，标量表示已经足够。如果你需要交换包含方向的信息（如“我这里有大量北向来车”），则需要设计更复杂的、完全等变的注意力机制。

4. 训练流程与实验设置：从仿真环境到策略部署

有了网络架构，下一步就是训练。我们不可能在真实道路上训练，必须依赖交通仿真环境。

4.1 仿真环境搭建与多模态状态构建

我们选用SUMO(Simulation of Urban MObility) 作为微观交通仿真器，并通过TraCI接口与我们的Python训练程序交互。每个仿真步长（例如1秒），我们执行以下操作：

1. 获取原始数据：

   • 车辆数据：通过traci.vehicle获取区域内所有车辆的位置、速度、所在车道、目标路线。
   • 信号灯数据：通过traci.trafficlight获取每个信号灯的当前相位状态、相位持续时间。
   • 检测器数据：读取埋设在车道上的感应线圈或视频虚拟检测器数据，获取车道占用率、排队长度、车流量。

2. 构建多模态状态表示：

   • 模态A：拓扑栅格图。以每个路口为中心，截取一定范围（如200m x 200m）的高清地图，将其栅格化为一个H x W的图像。每个通道可以表示不同信息：车道存在性（二值）、车辆密度（归一化计数）、平均速度（归一化值）、信号灯当前相位（one-hot编码到不同通道）。这是等变网络的主要输入，需要保证其构建过程是等变的。例如，构建地图时，必须有一个绝对的方向基准（如北向上），这样旋转操作才有明确含义。
   • 模态B：时序流量序列。对于每个进口道，收集最近T个时间步的流量、排队长度，形成一个时间序列。这个序列本身没有空间旋转对称性，但其对应的进口道索引在路口旋转下会轮换。我们需要在数据层面建立这种对应关系。
   • 模态C：车辆列表向量。对于通信范围内的车辆，将其状态（位置相对值、速度、车型）编码为一个特征向量列表。车辆的位置是绝对的，但我们可以将其转换为相对于路口中心的极坐标，这样旋转路口时，车辆的方位角会相应变化，便于等变处理。

3. 定义动作空间：

   • 对于信号灯智能体，动作可以是下一阶段的相位选择（离散动作），也可以是当前相位各个方向的绿灯延长时长（连续动作）。我们采用连续动作，因为控制更平滑。动作范围被归一化到[-1, 1]，在环境中映射为具体的绿灯时间（如-1对应减少10秒，1对应增加10秒）。

4. 设计奖励函数：

   • 奖励函数是强化学习的指挥棒。我们的全局奖励R_t通常包括：
     • 负的总旅行时间增量：- Σ (所有车辆在本步长内花费的时间)。
     • 负的总排队长度：- Σ (所有停止线前的排队车辆数)。
     • 惩罚紧急制动：- Σ (车辆减速度超过阈值的次数)，用于提升安全性。
     • 平滑性惩罚：- λ * Σ (信号灯相位切换次数)，避免信号灯频繁切换。
   • 每个智能体也可以有一个局部奖励，如其所控制路口的平均等待时间，以辅助学习。

4.2 训练算法与超参数选择

我们采用MAPPO(Multi-Agent Proximal Policy Optimization) 作为基础训练算法，因为它结合了CTDE的优势和PPO的稳定性。我们将标准的MLP网络替换为我们设计的等变网络。

核心训练循环伪代码：

# 初始化：等变Actor网络 {π_i}， 等变Critic网络 V(s)， 优化器，经验缓冲区 for episode in range(total_episodes): obs = env.reset() # 获取初始多模态观测 done = False while not done: # 1. 智能体根据局部观测选择动作（分散式执行） actions = {} for agent_id, agent_obs in obs.items(): # 将观测转换为等变网络要求的 GeometricTensor 格式 geom_obs = convert_obs_to_geometric_tensor(agent_obs, agent_id) with torch.no_grad(): action_dist = actor_nets[agent_id](geom_obs) # 输出可能是动作均值和对数标准差 action = action_dist.sample() log_prob = action_dist.log_prob(action) actions[agent_id] = (action, log_prob) # 2. 环境执行动作，转移到新状态 next_obs, rewards, done, info = env.step(actions) # 3. 存储经验 (s, a, r, s', log_prob) 到缓冲区 buffer.store(obs, actions, rewards, next_obs, done) obs = next_obs # 4. 定期更新（CTDE：中心化训练） if buffer.is_full(): # 从缓冲区采样一批经验 batch = buffer.sample() # 计算优势估计 A_t， 使用等变Critic网络 V(s) with torch.no_grad(): values = critic(batch.state) # 全局状态s next_values = critic(batch.next_state) # 使用GAE计算优势 advantages = compute_gae(batch.rewards, values, next_values, batch.done) returns = advantages + values # 更新Critic网络（价值函数） for _ in range(critic_epochs): value_pred = critic(batch.state) value_loss = F.mse_loss(value_pred, returns) optimizer_critic.zero_grad() value_loss.backward() optimizer_critic.step() # 更新Actor网络（策略） for _ in range(actor_epochs): # 重新计算当前策略下动作的概率 new_log_probs = [] for agent_id in agent_ids: geom_obs = convert_obs_to_geometric_tensor(batch.obs[agent_id], agent_id) action_dist = actor_nets[agent_id](geom_obs) new_log_prob = action_dist.log_prob(batch.actions[agent_id]) new_log_probs.append(new_log_prob) # 联合概率（假设智能体独立） new_log_probs_joint = torch.stack(new_log_probs, dim=-1).sum(dim=-1) old_log_probs_joint = batch.log_probs.sum(dim=-1) # PPO裁剪目标函数 ratio = torch.exp(new_log_probs_joint - old_log_probs_joint) surr1 = ratio * advantages surr2 = torch.clamp(ratio, 1-clip_param, 1+clip_param) * advantages actor_loss = -torch.min(surr1, surr2).mean() # 可选：增加熵正则项鼓励探索 entropy = sum([dist.entropy().mean() for dist in action_dists]) actor_loss -= entropy_coef * entropy optimizer_actor.zero_grad() actor_loss.backward() torch.nn.utils.clip_grad_norm_(actor_parameters, max_grad_norm) optimizer_actor.step() buffer.clear()

关键超参数经验值：

实操心得：等变网络的训练稳定性需要特别关注。由于群卷积引入了额外的结构约束，梯度流可能与标准CNN不同。我们发现，使用较小的学习率、更严格的梯度裁剪以及学习率热身策略（Warmup）非常有效。此外，在训练初期，可以适当增大熵系数，鼓励智能体探索不同的相位策略，避免过早陷入局部最优。

5. 性能评估与对比分析：等变性的优势究竟有多大？

训练完成后，我们需要在仿真环境中进行系统性评估，对比我们提出的Equivariant MARL方法与基线方法。

5.1 评估指标

我们主要关注以下几类指标：

1. 效率指标：
   • 平均旅行时间：所有车辆从出发到目的地所用时间的平均值。
   • 路口平均延误：车辆实际旅行时间与自由流状态下旅行时间的差值。
   • 系统总吞吐量：单位时间内通过路网关键断面的车辆总数。
2. 公平性指标：
   • 旅行时间标准差：衡量不同车辆体验的差异。
   • 各方向延误均衡度：确保没有某个进口道长期处于严重拥堵。
3. 安全性指标：
   • 冲突点数：通过SSAM等工具评估的潜在交通冲突数量。
   • 急刹车次数。
4. 控制平滑性指标：
   • 信号灯相位切换频率。
   • 绿灯时间调整幅度方差。

5.2 基线方法对比

我们设置了以下几种基线方法进行对比：

• 固定配时：传统预设的信号灯方案。
• 自适应控制：如SCOOT、SCATS等基于检测器数据的经典自适应算法（在SUMO中可用traci.trafficlight.setProgram模拟其逻辑）。
• 标准MARL (MLP)：使用普通多层感知机（MLP）作为Actor和Critic网络的CTDE框架（如MAPPO），这是我们方法最主要的非等变对比对象。
• 标准MARL (CNN)：使用普通卷积神经网络处理图像状态，但网络不具备等变性。
• 其他SOTA MARL方法：如QMIX、MADDPG等。

5.3 实验结果与分析

我们在一个4x4的网格路网和几个真实城市路口拓扑中进行了测试。以下是核心发现：

分析：

1. 性能提升：我们的等变MARL方法在平均旅行时间上显著优于所有基线，相比最好的非等变CNN-MARL提升了约8%。这证明了等变性先验的有效性，使智能体学到了更本质的交通控制规律。
2. 样本效率：这是等变方法最突出的优势。达到相同性能水平，我们方法所需的训练回合数仅为标准CNN-MARL的一半左右。因为等变网络不需要重复学习对称场景下的策略，数据利用率大大提高。
3. 泛化能力：我们将在一个路口训练好的策略，直接应用到另一个几何结构相似但具体尺寸、流量不同的路口（即“零样本迁移”）。标准MARL方法性能下降严重（可能下降30-50%），而我们的等变MARL方法性能保持率超过85%。这是因为等变策略学习的是“相对关系”和“通用规则”，而非针对特定路口像素的过拟合。
4. 策略可解释性：通过可视化等变网络中间层的特征图，我们发现网络确实学会了识别具有旋转对称性的交通模式。例如，当某个方向出现拥堵时，网络在对称方向的特征激活模式也高度相似，这符合我们的设计预期。

踩坑记录：在早期实验中，我们曾尝试不对多模态数据进行严格的等变对齐，而是简单拼接后输入网络。结果发现，模型性能甚至偶尔会差于纯CNN基线。排查后发现，不同模态数据如果变换规则不一致，会干扰等变网络的学习，导致其无法正确捕捉对称性。教训是：在等变框架下，数据预处理和特征对齐的严谨性至关重要，必须保证输入数据的变换与定义的群作用完全一致。

6. 部署考量与未来挑战：从仿真走向现实

将训练好的等变MARL模型部署到真实车路协同系统，面临着仿真到现实的鸿沟和工程化挑战。

6.1 轻量化与边缘部署

训练好的等变网络模型参数量通常大于标准CNN，因为群卷积引入了更多的通道来承载不同的表示类型。在边缘设备（如路侧计算单元RSU）上部署时，需要进行模型压缩：

• 知识蒸馏：用训练好的大模型（教师）去指导一个结构更简单、非等变或更小组的小模型（学生）学习，尽可能保留性能。
• 剪枝与量化：对等变网络的权重进行剪枝，并对权重和激活值进行INT8量化，可以大幅减少模型体积和计算延迟。需要特别注意，量化过程可能会破坏等变性的数学精确性，需要在精度和效率间权衡。
• 硬件感知优化：等变卷积在通用GPU上效率可能不高。需要针对目标硬件（如NPU）进行算子融合和定制化优化。

6.2 感知不确定性处理

仿真环境提供完美、无噪声的全局状态。现实世界中，多模态感知存在大量不确定性：

• 通信延迟与丢包：V2I通信并非绝对可靠，车辆状态信息可能延迟或丢失。
• 感知误差：摄像头、雷达存在检测误差、漏检和误检。
• 数据异步：不同模态的数据时间戳可能不完全同步。

我们的策略网络需要具备一定的鲁棒性。可以在训练阶段引入数据增强来模拟这些不确定性：

• 随机丢弃部分车辆的状态信息。
• 在车辆位置和速度上添加高斯噪声。
• 对输入的栅格图进行随机遮挡（模拟传感器故障）。 这能让智能体学会在部分可观测和噪声环境下做出决策。

6.3 安全约束与可解释性

交通控制关乎安全，必须万无一失。

• 安全层：在策略网络输出最终动作前，增加一个基于规则的安全校验层。例如，确保最小绿灯时间、避免冲突相位同时亮起等。这个安全层应该是确定性的、可验证的。
• 可解释性工具：开发可视化工具，展示智能体做出某个决策（如延长东西向绿灯）时，它“关注”了路口的哪个区域（通过注意力权重或特征图可视化），以及是哪些模态的信息（车流密度、排队长度）主导了决策。这对于取得交通管理部门的信任至关重要。

6.4 持续学习与在线适应

真实世界的交通模式会随时间变化（如新商圈建成、道路施工）。部署的系统需要具备持续学习能力。

• 在线微调：在边缘设备上，可以利用实时采集的数据，以较小的学习率对模型进行微调。需要设计防止灾难性遗忘的机制。
• 联邦学习：多个路口的RSU可以在保护数据隐私的前提下，协同更新一个全局模型，加速对新交通模式的学习。

这个项目从构思到实现，一路走来挑战不断，但看到算法在仿真中展现出超越传统方法的效率和泛化能力时，感觉一切都值了。等变性先验的引入，就像给多智能体强化学习这个“黑盒”装上了一个基于物理规则的“指南针”，让它学习的方向更明确，路径更高效。当然，从仿真到真实世界的最后一公里，还有大量的工程和验证工作要做。但毫无疑问，将几何深度学习与多智能体协同决策结合，是解决复杂空间交互系统（不仅是交通，还包括机器人集群、电网调度等）的一条极具潜力的路径。如果你也在做类似的研究或应用，欢迎一起交流那些在论文里看不到的、调参和debug的日日夜夜。