半年前我帮一个客户评估下一代训练集群的组网方案,对方第一轮就抛来一个让我愣住的问题:“NVLink Fusion跟UALink,你站哪边?”当时UALink在我看来还像个PPT协议,结果翻开联盟成员名单,AMD、Intel、Google、Meta、Microsoft、Broadcom全在里面,阵仗一点不小。再回头研究NVLink Fusion的路线图,发现NVIDIA已经把超节点互连从“机箱内的私线”升级为“覆盖整个机房的统一架构”。这两条技术线路的背后,其实是两套完全不同的产业逻辑:一个靠垂直整合把Scale-up的边界无限往外推,另一个靠横向联盟把Scale-up做成可插拔的开放接口。今天这篇就顺着Chiplet这条暗线,把两套方案的技术底座、产业意图和实际取舍一次讲透。
1. 为什么超节点Scale-up互连突然成了兵家必争之地
1.1 AI训练的瓶颈已经从“算力不够”变成了“互连不够”
前几年做大模型训练,大家脑子里最敏感的词是FLOPS:GPU峰值算力多少、总算力多少、训练时间多少。但等你真把千卡万卡集群跑起来,会发现另一个更致命的约束——数据在GPU之间挪不动。
大模型训练里,张量并行、专家并行、序列并行这些主流并行策略,都要求GPU之间频繁做梯度同步和中间激活值交换。超大规模同步操作一旦落到跨机房甚至跨集群的网络路径上,时延直接翻一个数量级,训练效率跟着暴跌。业界提出一个叫“关键路径延迟”的指标:当模型规模冲到万亿参数以上,GPU之间的通信延迟每多出几微秒,整个集群的MFU(模型算力利用率)就会掉好几个百分点。
这就是超节点出现的原因:把大量加速器通过低延迟、超高带宽的互连协议,在物理上紧耦合为一个“逻辑上的巨型GPU”,让通信路径尽可能短、共享内存的语义尽可能直接。而支撑这个逻辑巨型GPU的,就是所谓的Scale-up互连。NVLink Fusion和UALink争的,正是这个位置。
1.2 Scale-up和Scale-out:一字之差,天壤之别
很多人会把集群互连混为一谈,实际上Scale-up和Scale-out是两条完全不同的技术路线,从时延预算到协议语义都不一样。
| 维度 | Scale-out互连 | Scale-up互连 |
|---|---|---|
| 作用域 | 机架间、跨机房 | 机架内、节点内、GPU之间 |
| 时延预算 | 5~10微秒甚至更高 | 亚微秒级,理想低于500ns |
| 数据语义 | 消息传递(MPI/RDMA) | 内存语义(Load/Store、原子操作) |
| 典型介质 | 以太网、InfiniBand | 私有总线、CXL、NVLink |
| 规模量级 | 万卡甚至十万卡 | 几十卡到上千卡 |
| 核心诉求 | 大规模可扩展性 | 极致的低时延和高带宽 |
Scale-out解决的是“更多机器一起干”,Scale-up解决的是“一台机器内部干得有多快”。前者可以容忍毫秒级波动,后者连微秒级抖动都受不了。
拿NVIDIA自己的产品线来对照最直观:NVSwitch负责GPU之间的Scale-up交换,InfiniBand负责GPU机架之间的Scale-out组网。NVLink Fusion的概念之一,就是把这两层逻辑合并成一个统一的互连域,让GPU访问远端GPU就像访问本地显存一样,不再需要关心中间走的是哪一层网络。
1.3 Chiplet是这场互连竞争的“隐形变量”
再叠加Chiplet这条线,整个格局就更有意思了。
传统GPU是一整块大Die,工艺节点一推进,成本、良率、功耗都面临极限。现在主流加速器基本都走向了多Die封装:NVIDIA的B100/B200内部就是两颗Die通过NVLink C2C互连,AMD的MI300系列也是多颗CDNA Die通过Infinity Fabric封装在一起,Intel的Ponte Vecchio更是堆了几十颗Die。
Chiplet模式带来一个直接结果:Die与Die之间、封装与封装之间、加速器与加速器之间的互连,不再只是“插线”问题,而是上升为架构设计的核心变量。封装内部的Die-to-Die互连有UCIe这类标准在管,而封装之外加速器之间的Scale-up互连,就成了NVLink Fusion和UALink主攻的战场。换句话说,Chiplet把GPU从“一块芯片”变成了“一个由互连串联起来的分布式系统”,Scale-up互连的价值空间被大大放大。
2. NVLink Fusion:NVIDIA把Scale-up做成了“全家桶”式的总装车间
2.1 从NVLink到NVLink Fusion,NVIDIA的互连谱系越来越清晰
NVLink刚出来那会儿,很多人只把它当成“显卡之间多拉几根线”。实际上它的演进路径非常清晰:NVLink 1.0解决了双GPU直连问题,NVLink 2.0扩展到8卡全互联,NVLink 3.0引入NVSwitch把8卡扩展到更多节点,NVLink 4.0把每GPU总带宽推到900GB/s,NVLink 5.0直接翻倍到1.8TB/s。到NVLink Fusion这代,NVIDIA想做的事情已经不再是“把更多GPU接在一起”,而是把GPU、CPU、DPU、内存、存储全部纳入同一个互连结构里。
按NVIDIA在GTC 2025上公布的路线图,NVLink Fusion将Scale-up和Scale-out两类互连融合成一个统一网络。每个GPU的持续带宽以TB/s为量级,连接介质同时支持铜缆和光缆,域规模可以从单机架扩展到整栋数据中心。这相当于把原来的“私线”升级成了“私有云”,所有组件都在同一套互连语义下工作。
2.2 NVLink Fusion的技术底座:NVLink C2C + NVLink Switch + 融合网络
NVLink Fusion不是从零发明的,它站在NVLink C2C协议和NVSwitch硬件这两块基石上。
NVLink C2C是NVIDIA用来连接同封装内不同芯片的物理层协议,最早用在Grace CPU和Hopper GPU之间的互连上,实现了CPU与GPU的统一内存地址空间。NVLink Fusion把C2C的适用范围从封装内延伸到封装外:通过铜缆和光缆,多个GPU、多个CPU、DPU和网络设备都可以共享同一种缓存一致性的互连语义。
硬件层面,NVLink Switch是关键的“十字路口”。早先单颗GPU只能连相邻几颗GPU,NVSwitch把拓扑从网格变成星型,让任意两颗GPU之间的跳数降到最低。NVLink Fusion进一步在Switch层接入更多类型的设备,等于在数据中心里搭建了一个超大号的互连矩阵。
软件层面,CUDA的地址空间模型天然受益。NVLink Fusion让开发者可以用“访问本地显存”的方式访问超节点内任意GPU的内存,第三方库和框架不需要重写就能吃到Scale-up带宽。这种“把整个超节点当成单个设备”的编程心智,是NVIDIA生态最深的一条护城河。
2.3 NVIDIA的算盘:用互连锁定下一代AI基础设施
从商业角度看,NVLink Fusion是NVIDIA在AI基础设施领域的一次“总包”战略:不仅卖GPU,还卖互连、卖网络、卖存储、卖调度。你把超节点的每一层都用了NVIDIA的方案,整体性能一定是最优的,但这个生态的排他性也最强。
这种做法的好处是,NVIDIA可以在架构层面做全局优化。比如,GPU知道数据在远端哪个节点的哪块内存里,网络路径怎么走最短、什么时候发起预取最合理,这些跨层信息可以动态协调。坏处是,一旦你要混用其他厂商的加速器或网络设备,这套体系基本跑不通。
对多数AI Infra团队来说,NVLink Fusion就是“选NVIDIA=选全套”,不需要纠结技术细节,躺平就好。但如果你所在的平台追求供应链多元化和成本可控,这个全家桶就未必是最优解。
3. UALink:开放标准阵营打出的一张“反封锁牌”
3.1 UALink联盟的成军,几乎就是“非NVIDIA势力”的集结号
UALink全称Ultra Accelerator Link,目标是定义一份面向AI加速器Scale-up互连的开放标准。联盟阵容相当豪华:AMD、Broadcom、Cisco、Google、HPE、Intel、Meta、Microsoft、Arm、Dell、Oracle都在里面,基本覆盖了除NVIDIA之外整个AI芯片产业链的头部玩家。
这么多人坐在一起,共同的诉求是“不想让NVIDIA把互连标准的定义权也拿走”。过去十几年,NVIDIA靠CUDA锁住了软件生态,靠NVLink锁住了硬件生态。CSP(云服务商)和服务器厂商如果想在AI芯片上保持选择权,就必须在互连这层拿到话语权。UALink就是把分散的“反NVIDIA力量”拧成一根绳的尝试。
3.2 UALink 1.0技术要点:高带宽、低延迟、共享内存语义
UALink 1.0规范面向的是加速器之间的点对点Scale-up互连,核心指标围绕带宽和延迟展开。
- 物理层采用与PCIe Gen 6同代的SerDes技术,单通道速率超过90Gbps,多通道聚合后每端口带宽可达数百Gbps。
- 面向内存语义设计,支持对端内存的读、写和原子操作,让AI计算框架可以像访问本地内存一样访问远端加速器内存。
- 协议上借鉴了CXL和PCIe体系积累的底层互连经验,不用从零解决信号完整性和链路训练问题。
- 初期版本面向机架内短距离场景,铜缆即可覆盖,后续版本预计扩展到光缆,以支持更大规模的超节点。
联盟的路线图很清晰:先从几十个GPU的Scale-up域做起,逐步扩展到上百乃至上千加速器的超节点,最终形成一套能够对抗NVLink Fusion的开放互连方案。
3.3 UALink面临的“标准落地三座大山”
规范和产品之间,隔着三座大山:产品化、互操作性、生态。
产品化层面,UALink 1.0发布之后,AMD的MI400系列、Intel的下一代加速器都计划支持,但目前还停留在纸面阶段。一个互连标准从规范到硅片、再到系统集成和量产,通常要两到三年的时间。互操作性层面,多厂商支持的代价是每个厂商都要在通用规范之上做取舍和实现,谁先落地、谁后落地、谁先和谁测过互通,都会影响实际部署节奏。生态层面最现实:就算硬件支持UALink,软件栈能不能像CUDA那样提供统一内存访问模型,有没有现成的通信库和深度学习框架适配,才是大规模落地的关键。NVIDIA花十几年建立的软件护城河,不是一个标准协议能够轻易绕开的。
4. NVLink Fusion和UALink的四个正面战场
4.1 带宽、时延、规模:纸面数据谁更激进
先做一张硬碰硬的表格,还原两边当前披露的核心指标。
| 对比维度 | NVLink Fusion | UALink 1.0 |
|---|---|---|
| 技术血统 | NVIDIA私有,基于NVLink C2C | 开放标准,基于标准SerDes |
| 单GPU总带宽 | 1.8TB/s(NVLink 5.0),后续持续翻倍 | 多通道聚合,目标对标NVLink同级 |
| 时延目标 | 亚微秒级,内存语义直访 | 亚微秒级,共享内存语义 |
| 超节点规模 | 从几十卡起步,路线图直指上千卡 | 1.0面向数十卡,后续扩展至上千卡 |
| 连接介质 | 铜缆+光缆,机架内外兼顾 | 初期铜缆为主,后续向光缆演进 |
| 发布状态 | 已进入NVIDIA路线图,绑定新一代平台 | 1.0规范已发布,处于产品化早期 |
| 软件生态 | CUDA全家桶深度集成 | 生态初建,依赖框架适配 |
从纸面看,NVLink Fusion的带宽指标更激进,因为它可以“量身定制”整个互联协议栈;UALink则要顾及多厂商兼容,性能和规范发布节奏会更稳健一些。
4.2 Chiplet视角:封装内外怎么配合
Chiplet的核心理念是“分而治之”:把一颗大芯片拆成多个Die,分别用最合适的工艺制造,再通过先进封装互连起来。问题是,Die与Die之间的互连密度、带宽、功耗和延迟,直接决定了Chiplet方案的成败。
NVLink Fusion在Chiplet层面的布局是闭环的。NVIDIA自家的GPU内部用NVLink C2C把多颗Die拼成一颗逻辑GPU;封装之外再用同一套互连协议扩展到其他GPU、CPU、DPU。也就是说,从Die到Device到Node再到Domain,NVIDIA用的是同一套语言,任何一层都不需要协议转换。
UALink在Chiplet层面则更像“搭桥者”。它不关心Die内部怎么互连,只负责封装外部的加速器到加速器连接。这对第三方芯片厂商来说反而更友好:不管你的加速器内部用的是UCIe、Infinity Fabric还是其他私有互连,只要外部提供符合UALink的接口,就能进同一个超节点。开放性换来的是更大的灵活性,代价是跨Die、跨封装、跨节点的全链路协同优化能力不如NVLink Fusion那么极致。
4.3 生态位之争:CXL、UEC、UALink、NVLink Fusion谁管哪一层
互连标准最忌讳“什么都想管”,最后谁也兼容不了。现在业内各标准的分工逐渐清晰:
- CXL管的是CPU与内存/设备之间的缓存一致性和内存扩展,位置在CPU近端;
- UEC管的是超大规模Scale-out以太网,面向机架间和跨集群通信;
- UALink管的是加速器之间的Scale-up互连,目标是机架内的高带宽低延迟域;
- NVLink Fusion则是一个“越界者”,它把Scale-up和Scale-out合并成一棵互连树,甚至向上吞掉了部分UEC的应用场景。
对开发者来说,最理想的状态是各层标准像积木一样拼插组合:CPU节点走CXL,GPU之间走UALink,机架之间走UEC,大家互不干扰。但NVIDIA显然不愿意让自家超节点里出现“别人家的协议”,NVLink Fusion的设计哲学就是全栈自洽。两种思路的碰撞,注定会持续很多年。
4.4 历史不会简单重演,但可以参考
互连标准战的最终胜负,往往不取决于技术指标,而取决于生态厚度。
回头看看PCIe与各私有总线的竞争,或者InfiniBand与以太网在HPC领域的拉锯战,会发现一个规律:开放标准在产业界永远有生存空间,因为下游客户天然抗拒被单一供应商锁定。CSP手里动辄几亿美元的资本开支,不可能全部押在一条封闭路线上。UALink的价值,不仅仅在于性能对标NVLink,更在于它给了买家一个“备选方案”式的谈判筹码。
另一方面,NVIDIA的先发优势和软件生态优势又非常现实。NVLink Fusion只要按期交付,超节点领域的大部分需求会被它吸收,UALink能抢到的市场,大概率是那些明确不接受NVIDIA封闭生态的CSP和自研芯片厂商。
5. 落到实际项目里:超节点Scale-up互连到底该怎么选
5.1 先搞清楚你的超节点处在哪一层
很多时候,我们讨论NVLink Fusion和UALink,其实是在讨论一个“未来的超大规模问题”。对大多数团队来说,真正需要做决定的时刻还没到,或者根本不需要做决定。
我的建议是,先给自己的项目定位:
- 如果预算和团队能力都围绕NVIDIA展开,模型训练也依赖CUDA生态,那现阶段更务实的做法是直接用NVLink 5.0/NVL72方案,等待NVLink Fusion节奏落地即可,没必要为了“不被锁定”而刻意拆掉自己最顺手的工具。
- 如果你是云厂商、大型CSP或者自研AI芯片团队的成员,同时有大量AMD、自研ASIC、第三方加速器的接入需求,那么UALink是唯一现实的选择,它能让多源异构加速器在同一个超节点里共存。
- 如果你只是做几十卡规模的中型集群,哪边都不需要押注,PCIe/CXL + 以太网的常规组合已经足够覆盖需求,Scale-up互连的性能红利在中小规模下并不明显。
5.2 我做集群互连方案时踩过的几个“认知坑”
第一个坑:把纸面带宽当成实际可用带宽。无论是NVLink还是未来的UALink,厂商标称的都是物理层极限,真正跑训练任务时要面对协议开销、链路竞争、拥塞控制、驱动效率这些损耗。实测下来,能达到标称值60%到70%就已经算优化得不错了。评估方案的时候,千万别只看峰值数字。
第二个坑:忽略布线长度对信号完整性的影响。Scale-up互连的带宽越高,对链路长度越敏感。铜缆在机架内还能撑住,一旦跨机柜拉长,信号衰减和误码率都会显著上升。落到具体部署,光模块选型、线缆走线、散热空间都要提前做物理层仿真,否则等设备上架了再返工,整个交付周期直接失控。
第三个坑:对开放标准的“兼容性”抱有幻想。UALink虽然定位开放标准,但“开放”不等于“开箱即用”。多厂商的互操作验证需要时间,驱动成熟度更是因厂而异。选择UALink方案时,大概率要预留出比NVIDIA方案更多的验证和调优周期,安排专门的团队去啃驱动和通信库的适配。
5.3 我给未来18个月划的几个关注节点
接下来真正值得盯的,是这几个时间窗:
- NVIDIA新平台正式搭载NVLink Fusion的时间,这将决定封闭路线的实际性价比边界;
- UALink联盟成员的第一批量产芯片和互操作测试结果,这决定开放路线的可信度;
- 主流AI框架(PyTorch、JAX等)对两种互连的适配程度,软件栈的跟进速度往往比硬件更能决定生态走向;
- 超节点从“训练专用”走向“推理和混合负载通用”之后,两种互连在功耗和成本上的差距是否会拉开新的差距。
我在实际参与集群组网方案时最深的一个体会是:互连协议的选择,从来不只是技术问题,它同时是供应链策略、软件生态策略和长期运维策略的交叉路口。NVLink Fusion赢在“整合体验”,UALink赢在“选择自由”,双方在未来很长一段时间内会共存,而不是一方彻底吃掉另一方。如果你现在正处于选型阶段,我的建议是保持架构设计的开放性:把设备层、互连层、软件层解耦,就算今天选了某一边,也别把未来切换路径彻底堵死。互连标准这东西,最怕的不是选错,而是选完之后发现自己被困在原地。