异构 GPU 混合调度陷阱：当 A100 与 L40S 混部在同一集群-育师

异构 GPU 混合调度陷阱：当 A100 与 L40S 混部在同一集群

在企业建设 AI 算力底座的过程中，由于采购周期不同、供应链供货波动以及成本控制预算，集群里的 GPU 硬件往往很难做到“完全同构”。随着时间推移，机房里往往既有早先部署的NVIDIA A100（80GB SXM4，高显存带宽 HBM2e），也有性价比较高的L40S（48GB PCIe，Ada Lovelace 架构，高单精度浮点但基于 GDDR6 显存），以及少量H100。

在很多管理者看来，只要把这些卡全部接入同一个 Kubernetes 集群，对外统一暴露nvidia.com/gpu资源，调度器就能自动把任务均匀分发给空闲节点。

然而，在一次多卡大模型推理任务部署中，我们踩进了一个巨大的异构混部泥潭：

一个需要 4 卡张量并行（Tensor Parallelism = 4）的 Llama-3-70B 推理 Pod，被默认调度器随机分配到了两张 A100 和两张 L40S 机器上（或者同节点内插了不同型号的扩展卡）；
服务启动后，单 Token 生成延迟直接从预期的 25ms 飙升到了 110ms，且偶发触发 NCCL 通信超时崩溃；
算力大盘显示，昂贵的 A100 计算核心长期处于等待状态（Idle），整体算力效能被最慢的卡死死拉平。

flowchart TD subgraph HeterogeneousCluster[异构混合集群] NodeA[节点 A: 4*A100-80GB HBM 带宽 2000GB/s] NodeB[节点 B: 4*L40S-48GB GDDR6 带宽 864GB/s] end Pod[70B 模型 4 卡张量并行 Pod: 随机跨卡调度] -.->|分配卡 0 & 卡 1| NodeA Pod -.->|分配卡 2 & 卡 3| NodeB NodeA <== NCCL All-Reduce 跨架构通信同步 ==> NodeB Note over NodeA,NodeB: 木桶效应: A100 算力被 L40S 的显存带宽与无 NVLink 互联彻底拖垮

1. 异构 GPU 混部的物理陷阱剖析

不同型号的 GPU 在底层芯片架构上有着本质的维度差异，绝不能简单地按“显存大小”画等号：

陷阱一：显存带宽断崖（HBM vs GDDR6）

A100 (SXM4)：搭载高带宽显存（HBM2e），显存物理带宽高达2,039 GB/s；
L40S：虽然 FP8/FP16 的算力（TFLOPS）非常高，但其搭载的是传统的GDDR6显存，带宽仅有864 GB/s。
在大模型的自回归解码（Decode）阶段，瓶颈主要卡在显存带宽上。如果将两张卡混用在同一个张量并行组内，每一层 Transformer 计算完成后，A100 必须停下来干等 L40S 完成显存搬运，形成严重的木桶效应。

陷阱二：NVLink 互联能力缺失

A100 / H100 具备高速 NVLink 桥接或 NVSwitch（卡间双向带宽 600GB/s～900GB/s）；
L40S不支持 NVLink，多卡之间只能通过主板的 PCIe Gen4/Gen5 总线进行通信（带宽仅 64GB/s）。在张量并行中，频繁的 All-Reduce 广播会直接将 PCIe 总线打爆。

陷阱三：CUDA 算力架构（Compute Capability）不一致

A100 为sm_80，L40S 为sm_89。不同架构对特定算子（如 FlashAttention-2、FP8 GEMM）的支持与编译内核差异巨大，混部会导致同一份模型镜像在不同卡上出现兼容性崩溃或精度漂移。

2. 破局方案：基于 Node Feature Discovery 的标签隔离与分层调度

要彻底规避异构硬件混部的踩坑，必须在调度层建立严格的硬件特征感知与分层路由机制。

第一步：使用 Node Feature Discovery (NFD) 自动标记节点

通过 Kubernetes NFD 插件自动扫描并给物理节点打上精确的硬件标签：

# 自动生成的节点 Label 示例 node.kubernetes.io/instance-type: "gpu.a100.80gb.sxm4" nvidia.com/gpu.family: "ampere" nvidia.com/gpu.product: "NVIDIA-A100-SXM4-80GB" nvidia.com/gpu.count: "8" nvidia.com/gpu.memory: "81920" nvidia.com/nvlink.supported: "true"

第二步：业务负载分层与亲和性约束

针对不同的业务场景，制定明确的硬件准入策略：

大参数量（> 30B）低延迟推理与分布式训练：强约束调度到 A100 / H100 SXM 节点，开启 NVLink 与单 NUMA 绑定；
轻量级 Embedding / 文生图（Stable Diffusion） / 单卡小模型：调度到高性价比的 L40S / RTX 4090 节点，最大化发挥其高浮点算力与成本优势。

apiVersion: apps/v1 kind: Deployment metadata: name: llama3-70b-serving namespace: ai-serving spec: replicas: 2 template: spec: affinity: nodeAffinity: requiredDuringSchedulingIgnoredDuringExecution: nodeSelectorTerms: - matchExpressions: # 强制只调度到具备 NVLink 且同构的 A100-SXM 节点池 - key: nvidia.com/gpu.product operator: In values: - "NVIDIA-A100-SXM4-80GB" - "NVIDIA-H100-80GB-HBM3" containers: - name: vllm image: vllm-serving:v0.6.0 resources: limits: nvidia.com/gpu: 4

3. 调度器扩展：防止多卡碎片的同构装箱

对于无需指定型号的中型任务，自定义调度器在 Score 阶段执行同构评分约束（Homogeneous Scoring）：

package main import "fmt" // EvaluateHeterogeneousRisk 评估分配方案中的硬件一致性风险 func EvaluateHeterogeneousRisk(cardTypes []string) int { if len(cardTypes) <= 1 { return 100 // 单卡不存在异构风险，满分 } firstType := cardTypes[0] for _, t := range cardTypes[1:] { if t != firstType { // 发生跨架构混部，严重扣分，阻止调度 return 0 } } return 100 } func main() { // 方案 1: 同构分配 4 张 A100 score1 := EvaluateHeterogeneousRisk([]string{"A100", "A100", "A100", "A100"}) // 方案 2: 混部分配 2 张 A100 + 2 张 L40S score2 := EvaluateHeterogeneousRisk([]string{"A100", "A100", "L40S", "L40S"}) fmt.Printf("同构调度得分: %d, 混部调度得分: %d\n", score1, score2) }