verl序列并行支持：ulysses配置方法详解

verl序列并行支持：Ulysses配置方法详解

在大型语言模型（LLM）的强化学习后训练中，如何高效利用多GPU资源始终是工程落地的核心挑战。verl作为字节跳动火山引擎团队开源的生产级RL训练框架，通过引入Ulysses序列并行（Sequence Parallelism）机制，在不牺牲模型表达能力的前提下显著提升长序列训练吞吐量。本文将聚焦于Ulysses序列并行的实际配置逻辑与关键参数含义，结合源码剖析其在ActorRolloutRefWorker中的初始化路径、设备网格构建方式及参数归一化过程，帮助开发者真正理解“为什么这样配”而非仅“照着配”。

1. Ulysses序列并行在verl中的定位与价值

1.1 为什么需要序列并行？

传统数据并行（DP）将完整批次样本分发至各GPU，但每个GPU仍需独立处理整条长序列——这导致显存占用随序列长度线性增长，成为训练超长上下文模型的瓶颈。而张量并行（TP）虽能切分模型权重，却带来高昂的跨设备通信开销。Ulysses序列并行则另辟蹊径：它将单条长序列沿序列维度（sequence dimension）切分为多个子段，由不同GPU协作完成前向/反向计算。这种设计天然适配LLM生成式任务中“长输入+长输出”的典型场景。

在verl中，Ulysses并非替代FSDP或TP的独立方案，而是与之协同的混合并行策略。其核心价值体现在三方面：

• 显存优化：单GPU仅需缓存局部序列片段的KV Cache，避免全序列KV缓存的显存爆炸；
• 通信效率：相比All-to-All式序列切分，Ulysses采用更轻量的Ring-AllReduce模式同步梯度，降低带宽压力；
• 灵活扩展：可与FSDP（参数分片）、TP（模型分片）正交组合，形成3D-HybridEngine架构，支撑千卡级集群训练。

关键认知：Ulysses序列并行的本质是计算负载的时空重分布——它不减少总计算量，但将内存密集型操作转化为通信密集型操作，并通过硬件拓扑感知调度实现整体加速。

1.2 verl中Ulysses的集成位置

Ulysses在verl框架中并非全局启用，而是按角色精细化控制。从ActorRolloutRefWorker的初始化逻辑可见，其仅在特定组件中激活：

• Actor模型：当actor_rollout_ref.actor.ulysses_sequence_parallel_size > 1时，为Actor构建Ulysses设备网格；
• Rollout推理：通过rollout.tensor_model_parallel_size控制vLLM推理引擎的张量并行度，与Ulysses解耦；
• Reference模型：默认不启用Ulysses，因其主要承担固定策略评估，对显存压力较小。

这种设计体现了verl的工程哲学：不同训练阶段采用最匹配的并行范式。Actor作为训练主干需极致显存效率，故启用Ulysses；Rollout侧重推理吞吐，故依赖vLLM的TP优化；Reference则以简洁性优先。

2. Ulysses设备网格构建全流程解析

2.1 初始化入口：ActorRolloutRefWorker.__init__

Ulysses设备网格的构建始于ActorRolloutRefWorker的构造函数。以下代码段揭示了其核心逻辑：

# 构建Ulysses设备网格 self.ulysses_sequence_parallel_size = self.config.actor.get('ulysses_sequence_parallel_size', 1) dp = world_size // self.ulysses_sequence_parallel_size if self.ulysses_sequence_parallel_size > 1: print('self.ulysses_sequence_parallel_size: ', self.ulysses_sequence_parallel_size) self.ulysses_device_mesh = init_device_mesh('cuda', mesh_shape=(dp, self.ulysses_sequence_parallel_size), mesh_dim_names=['dp', 'sp'])

此处world_size为当前分布式进程组的GPU总数（如单机6卡则为6）。ulysses_sequence_parallel_size即用户配置的序列并行度，其值必须满足：

• ulysses_sequence_parallel_size > 1：显式启用Ulysses；
• world_size % ulysses_sequence_parallel_size == 0：确保GPU可被均分为sp组。

当ulysses_sequence_parallel_size=2且world_size=6时，dp=3，设备网格形状为(3, 2)，表示：

• 3个数据并行组（DP Group）：每组负责一个批次分片；
• 2个序列并行组（SP Group）：每组内2张GPU协作处理同一条序列的切片。

设备网格可视化：
DeviceMesh('cuda', [[0,1], [2,3], [4,5]], mesh_dim_names=['dp','sp'])
其中[0,1]构成第一个SP组，共同处理序列A的前半段与后半段；[2,3]处理序列B，依此类推。

2.2 Ulysses分片管理器：FSDPUlyssesShardingManager

设备网格构建后，FSDPUlyssesShardingManager负责协调FSDP与Ulysses的协同工作：

self.ulysses_sharding_manager = FSDPUlyssesShardingManager(self.ulysses_device_mesh)

该管理器的核心职责包括：

• 参数分片映射：将FSDP分片后的模型参数，按Ulysses规则进一步切分至SP组内GPU；
• 梯度同步：在反向传播后，对SP组内梯度执行Ring-AllReduce，确保序列维度梯度一致性；
• 前向/反向钩子注入：在模型计算图中插入序列切分与拼接逻辑，对上层训练逻辑完全透明。

值得注意的是，Ulysses分片与FSDP分片正交叠加：FSDP沿模型参数维度切分，Ulysses沿序列维度切分，二者共同构成三维并行空间。

3. 关键参数配置与归一化逻辑

3.1 核心配置项语义解析

Ulysses相关参数在YAML配置文件中集中定义，其语义需结合分布式上下文理解：

配置陷阱警示：若ulysses_sequence_parallel_size=2且world_size=6，则实际SP组数为3。此时train_batch_size=60需被3整除（即每SP组处理20条序列），否则归一化失败。

3.2 参数归一化：ActorRolloutRefWorker.__init__中的动态计算

Ulysses启用后，原始配置参数需经归一化才能适配分布式执行。关键归一化逻辑如下：

# 归一化ppo_mini_batch_size：从全局批次转为每GPU批次 self.config.actor.ppo_mini_batch_size *= self.config.rollout.n # 60 → 720（rollout.n=12） self.config.actor.ppo_mini_batch_size //= (self.device_mesh.size() // self.ulysses_sequence_parallel_size) # 720 → 120

此过程分两步：

1. Rollout扩增：因每条输入序列需生成n=12个采样，全局批次从60升至720；
2. SP组分片：720条序列被分配至world_size // sp_size = 3个SP组，每组获240条；再按DP组均分，最终每GPU处理240 // dp_group_size = 120条。

同理，log_prob_micro_batch_size_per_gpu也经历类似归一化，确保各GPU在计算log概率时负载均衡。

归一化本质：将用户声明的“逻辑批次”转换为“物理GPU批次”，是verl实现“配置即意图”的关键抽象层。

4. Ulysses与Rollout推理的协同机制

4.1 Rollout设备网格的独立构建

Rollout阶段使用vLLM等推理引擎，其并行策略与Ulysses解耦，通过tensor_model_parallel_size独立配置：

infer_tp = self.config.rollout.tensor_model_parallel_size dp = self.world_size // infer_tp rollout_device_mesh = init_device_mesh('cuda', mesh_shape=(dp, infer_tp), mesh_dim_names=['dp', 'infer_tp'])

当tensor_model_parallel_size=2且world_size=6时，dp=3，形成3个DP组，每组2卡运行vLLM。这与Ulysses的(dp=3, sp=2)网格物理重叠但逻辑隔离：同一GPU既参与Actor的Ulysses SP计算，又参与Rollout的TP推理，但通过CUDA流实现资源复用。

4.2 Rollout结果聚合：generate_sequences中的SP-aware汇总

generate_sequences方法通过装饰器@register(dispatch_mode=Dispatch.DP_COMPUTE_PROTO)确保结果按DP组聚合：

# 每个DP组内SP组生成240条序列（20条输入×12次采样） # 3个DP组共生成720条序列，由主进程汇总 gen_batch_output = self.actor_rollout_wg.generate_sequences(gen_batch) print("gen_batch_output.batch['prompt_token_ids'].shape: ", gen_batch_output.batch['prompts'].shape) # torch.Size([720, 8192])

此聚合过程自动适配Ulysses配置：若sp_size=2，则每SP组内2卡协作生成同一批次的切片结果，再由DP组内所有SP组结果拼接成完整批次。

5. 实践配置指南与常见问题

5.1 推荐配置组合

根据GPU规模选择Ulysses配置，平衡显存与通信开销：

经验法则：sp_size不宜过大（>8），否则Ring-AllReduce通信延迟可能抵消显存收益；亦不宜过小（<2），否则显存优化效果不显著。

5.2 常见错误排查

• 错误1：AssertionError: ppo_mini_batch_size should be larger than 0 after normalization
  原因：train_batch_size无法被world_size // sp_size整除。
  解决：调整train_batch_size为sp_size × dp_group_size的整数倍，如sp_size=2,dp_group_size=3时，train_batch_size应为6的倍数（60, 66, 72...）。

• 错误2：RuntimeError: Device mesh shape does not match world size
  原因：ulysses_sequence_parallel_size未整除world_size。
  解决：检查n_gpus_per_node × nnodes是否可被sp_size整除，或改用sp_size=1禁用Ulysses。

• 错误3：Rollout生成结果数量异常（非720条）
  原因：rollout.n与train_batch_size未在归一化中正确联动。
  解决：确认ray_trainer.py中gen_batch_output的shape符合train_batch_size × rollout.n，否则检查fsdp_workers.py中归一化逻辑是否被覆盖。

6. 性能对比与调优建议

6.1 Ulysses启用前后的实测差异

在A100-80G×8集群上训练7B模型（序列长度8192）的对比显示：

性能洞察：Ulysses的收益呈非线性——显存节省恒定，但通信开销随sp_size增大而上升。sp_size=4在8卡场景下达到最佳性价比。

6.2 进阶调优方向

• 混合精度协同：启用torch.cuda.amp时，Ulysses的FP16梯度同步需配合torch.distributed.algorithms.ddp_comm_hooks.default_hooks.fp16_compress_hook，避免精度损失；
• 通信拓扑感知：在多机场景下，通过NCCL_SOCKET_NTHREADS和NCCL_MIN_NRINGS优化Ring-AllReduce底层通信栈；
• 动态SP调度：根据序列长度分布，对长序列启用Ulysses，短序列回退至纯FSDP，需修改generate_sequences的条件分支。

获取更多AI镜像

想探索更多AI镜像和应用场景？访问 CSDN星图镜像广场，提供丰富的预置镜像，覆盖大模型推理、图像生成、视频生成、模型微调等多个领域，支持一键部署。