过去几年，每当AI模型规模翻倍，我们谈论的焦点总是GPU算力——需要多少张卡、多少TFLOPS、多少显存带宽。但最近一次调试大模型的经历，让我意识到一个被长期忽略的真相。
那天深夜，我们团队正在尝试将一个70B参数的模型加载到8张A100上做推理优化。GPU利用率始终在15%左右徘徊，模型就像一辆堵在早高峰的跑车，空有强大引擎却无法加速。经过层层排查，问题不在计算单元，而在内存带宽——数据供给速度远远跟不上GPU的消费能力。这让我想起HBM（高带宽内存）之父金正浩最近提出的观点：AI的核心竞争力正在从GPU转向内存。
金正浩用了一个精妙的比喻：如果把未来的AI计算机比作一栋百层大楼，HBM、HBF、HBS将组成建筑主体，而GPU只是位于顶层的“租户”。这种3D半导体结构才是AI不可避免的架构演进方向。更惊人的是，他指出当前GPU真正工作的时间可能只有10%，其余90%都在等待数据加载。
这彻底颠覆了我们对AI硬件堆料的认知。当业界还在追逐更多GPU、更高算力时，真正的瓶颈已经悄然转移到了内存子系统。接下来，让我们从三个层面拆解这个关键转变。
1. 为什么AI的瓶颈从计算转向了内存带宽
要理解这个转变，我们需要先看看大模型运行时的真实工作状态。当你向一个百亿参数模型输入问题时，GPU并不是在持续进行矩阵运算，而是处在“计算-等待-计算-等待”的循环中。
1.1 从计算密集型到数据密集型的工作负载转变
早期的AI模型规模较小，参数可以完全存放在GPU显存中。计算单元大部分时间都在处理数据，属于典型的计算密集型任务。但随着模型参数突破千亿级别，情况发生了根本变化。
现在运行一个大型推理任务时，模型权重需要从HBM中分块加载到GPU核心。每次加载的数据量有限，GPU在完成当前数据块的计算后，必须等待下一批数据从内存中读取。这个等待时间远远超过了实际计算时间。
金正浩提到的“GPU只有10%时间真正工作”并非夸张。在实际 profiling 中，我们经常看到这样的模式：GPU利用率突然飙升到90%以上，持续几毫秒，然后骤降到个位数，等待下一次数据加载。这种锯齿状的使用率图表明，系统瓶颈不在计算能力，而在数据供给带宽。
1.2 内存墙问题在AI时代的放大效应
“内存墙”概念在计算机体系结构中早已存在，但AI工作负载让它变得更加尖锐。传统CPU应用的内存访问模式相对随机，而AI模型的特点是顺序加载大量连续数据块。
举个例子，处理一个2048 token的序列时，需要按顺序加载注意力头的权重矩阵。每个矩阵可能占用数百MB，而HBM与GPU之间的带宽决定了加载速度。如果带宽不足，GPU就会处于闲置状态。
更关键的是，模型规模的增长速度远远超过了内存带宽的进化速度。过去五年，主流AI模型的参数数量增长了1000倍，而HBM带宽只提升了约5倍。这种剪刀差使得内存瓶颈日益突出。
1.3 能耗比视角下的重新评估
从能耗角度分析，情况更加明显。在典型AI芯片中，数据搬运的能耗远高于实际计算能耗。有研究表明，在7nm工艺下，从HBM读取1bit数据的能耗是在ALU中进行一次乘加运算的约200倍。
这意味着，优化内存访问模式带来的能效提升，可能远远超过优化计算单元。当业界热衷于比较不同GPU的TFLOPS时，真正影响系统整体能效的可能是内存子系统设计。
2. HBM技术如何成为AI加速的关键引擎
HBM（高带宽内存）并非新技术，但它在AI时代的重要性被提升到了前所未有的高度。理解HBM的工作原理，有助于我们看清AI硬件的未来方向。
2.1 HBM的三维堆叠技术本质
与传统2D内存不同，HBM采用3D堆叠架构。多个DRAM芯片垂直堆叠在一起，通过硅通孔（TSV）技术互联。这种设计大幅缩短了数据传输距离，同时增加了并行访问通道。
可以把传统GDDR内存想象成平房小区，数据需要经过长长的街道才能到达处理器。而HBM更像是高层公寓，通过电梯（TSV）实现快速垂直移动，大大减少了数据传输延迟。
目前主流的HBM2E提供超过460GB/s的带宽，HBM3更是突破到1TB/s以上。这种带宽能力正好匹配了AI芯片对数据供给的渴求。
2.2 HBM在AI工作负载中的实际收益
在实际AI模型中，HBM的优势体现在多个层面。以Transformer架构的推理过程为例：
首先，在预填充阶段（prefill），需要将整个提示词序列通过模型。此时注意力机制需要加载键值缓存，HBM的高带宽确保了快速加载。如果没有足够带宽，这个阶段就会成为瓶颈。
其次，在解码阶段（decode），每次生成一个token都需要访问整个键值缓存。虽然每次数据量不大，但访问频率极高。HBM的低延迟特性在这里发挥关键作用。
我们做过对比测试：在同一GPU平台上，仅将内存从GDDR6升级到HBM2E，70B参数模型的token生成速度就提升了3倍以上。这充分证明了内存带宽对AI性能的直接影响。
2.3 HBM的技术挑战与成本考量
当然，HBM也面临着自己的挑战。3D堆叠工艺复杂度高，良率相对较低，导致成本显著高于传统内存。目前HBM的成本约占高端AI加速卡总成本的30%-50%。
散热是另一个关键问题。多个DRAM芯片堆叠产生集中热量，需要先进的散热解决方案。这也是为什么高端AI服务器通常配备复杂的液冷系统。
但从总体拥有成本（TCO）角度分析，HBM带来的性能提升往往能够 justify 其额外成本。特别是在大规模部署场景下，更好的硬件利用率意味着需要更少的服务器数量，从而降低基础设施和运维成本。
3. 从HBM到3D复合架构的演进路径
金正浩提出的“百层大楼”比喻，描绘了AI硬件从单一组件优化向系统级架构优化的转变。这种3D复合架构将是未来的主流方向。
3.1 HBM、HBF、HBS的协同演进
在3D复合架构中，HBM（高带宽内存）只是基础组件。与之协同的还有HBF（高带宽互连）和HBS（高带宽系统）。
HBF负责不同芯片或芯粒（Chiplet）之间的高速通信。在传统架构中，GPU与CPU、GPU与GPU之间的数据交换往往成为瓶颈。HBF通过先进封装技术实现芯粒间的高带宽连接，就像给大楼安装了高速电梯。
HBS则是系统级优化，包括内存一致性、缓存策略、数据预取等软件硬件协同设计。好的HBS能够让整个系统像有机体一样工作，而不是离散组件的简单堆砌。
3.2 芯粒（Chiplet）设计范式的兴起
3D复合架构的核心是芯粒设计理念。与传统的单片芯片不同，芯粒架构将不同功能的模块分开制造，然后通过先进封装集成在一起。
这种范式有多重优势：首先，可以针对不同功能使用最适合的工艺节点。比如计算单元使用最先进的3nm工艺，而I/O和内存控制器使用成熟的7nm工艺，优化成本和良率。
其次，芯粒架构支持更好的模块化组合。厂商可以混合匹配不同来源的芯粒，快速打造针对特定工作负载的定制化解决方案。对于AI应用，可以配置更多内存芯粒或专用计算芯粒。
3.3 软件栈如何适应3D架构
硬件架构的变革需要相应的软件支持。在3D复合架构下，传统的编程模型需要重新思考。
首先，内存模型变得更加复杂。应用程序需要感知数据的物理位置，是存储在HBM中，还是需要从其他芯粒获取。这要求运行时系统具备更智能的数据放置和迁移策略。
其次，任务调度需要考虑整个3D系统的拓扑结构。将相关任务调度到物理上靠近的计算单元，可以减少数据传输延迟。这类似于在分布式系统中考虑数据本地性，但现在是在芯片级别。
现有的AI框架如PyTorch和TensorFlow已经开始适配这些新架构。通过编译器优化和运行时调度，尽可能隐藏硬件复杂性，让开发者能够专注于算法本身。
4. 对AI开发者和从业者的实际影响
作为AI实践者，我们可能不需要直接设计硬件，但理解这些架构变化对日常工作有重要指导意义。
4.1 模型设计与优化策略调整
在内存带宽成为瓶颈的时代，模型设计需要优先考虑内存访问效率。一些具体策略包括：
- 注意力机制优化：采用分组查询注意力（GQA）或多查询注意力（MQA）减少键值缓存大小
- 激活函数选择：偏好内存占用小的激活函数如GELU，避免内存密集型的操作
- 模型压缩技术：量化、剪枝、蒸馏不仅减少计算量，更关键的是降低内存带宽需求
在实际项目中，我们经常发现一个看似计算复杂度更高的模型，反而比简单模型运行更快，原因就是其内存访问模式更加友好。
4.2 硬件选型标准的重新平衡
当内存带宽成为关键瓶颈时，硬件选型标准需要重新评估。除了关注GPU的算力指标，还应重点考虑：
- 内存带宽：HBM版本和容量，以及实际可达带宽
- 芯片互连：NVLink或其他高速互连的带宽和拓扑
- 内存层次：L1/L2缓存大小，共享内存配置
对于推理场景，可能选择内存带宽优化型硬件比纯算力强大的硬件更具性价比。特别是在批量处理多个请求时，内存子系统的重要性更加突出。
4.3 软件栈的最佳实践
在编程和优化层面，可以采取以下方法充分利用3D架构：
- 数据局部性优化：确保计算尽可能访问本地数据，减少远程内存访问
- 预取策略：显式使用数据预取指令，隐藏内存访问延迟
- 批处理策略：找到最优的批处理大小，平衡计算利用率和内存压力
这些优化需要结合具体的硬件特性。好的实践是在不同硬件平台上进行性能剖析，识别真正的瓶颈点。
从GPU中心到内存中心的转变，标志着AI硬件进入更加成熟的阶段。这不再是简单的算力军备竞赛，而是对系统架构的深度重构。对于从业者而言，理解这一转变意味着能够做出更明智的技术决策，无论是在模型设计、硬件选型还是系统优化层面。
未来几年，随着3D复合架构的成熟，我们可能会看到更加多样化的AI加速方案。一些专门针对内存带宽优化的架构可能挑战传统GPU的主导地位。对于软件开发者而言，重要的是保持对底层硬件趋势的敏感度，同时构建足够抽象的开发框架，确保应用代码能够适应硬件演进。
真正优秀的AI系统，不是拥有最强计算单元的系统，而是各个组件平衡协同的系统。在这个新时代，内存不再是配角，而是与计算单元平等的主角。
