AI芯片调研指南：从存储墙到软件生态，避开参数陷阱

1. 先把调研边界划清楚：AI芯片到底是个什么品类

AI芯片这个词，现在被聊得太泛了。打开科技媒体的首页，几乎每天都有跟AI芯片相关的标题，一栋楼、一条产线、一次融资都能带起一波热度。但如果你真把公开资料翻一圈，会发现大部分讨论还停留在概念层面，真正能落到产品形态、技术取舍、部署决策上的内容并不多。

我最近又做了一轮系统性AI芯片调研，起因其实很实际：团队要评估新一代大模型训练与推理平台的硬件选型，同时也要给几个不同场景的落地项目做算力规划。不看不知道，一看才发现，这个领域的信息噪声比我想象中还要大。同一个名词在不同厂商的白皮书里可能指完全不同的东西，同一个性能数字在不同口径下能差出一倍甚至更多。

所以这篇就围绕调研本身来写：我按什么框架拆解AI芯片，哪些指标真正决定落地效果，哪些参数是纸面噱头，以及在整个调研过程中反复踩到的认知偏差。内容不偏向任何单一厂商，尽量站在行业视角把链路讲透。

先说边界。调研之前，先得把AI芯片这个筐划清楚。行业里常说的AI芯片，广义上泛指任何为加速AI计算而设计的处理器，行业内也常称作AI加速器或AI处理器，围绕的核心场景是深度神经网络的训练和推理。但真实产品形态五花八门，至少可以分成四个大方向。

第一是GPU。GPU最早是为图形渲染设计的，但因为拥有大规模并行计算单元，天然适合矩阵运算，后来被深度学习的浪潮推到台前，演变成通用AI加速器。今天的GPU已经是“图形处理器”的名字、AI加速器的实质，里面塞了Tensor Core这类专门为矩阵乘加设计的计算单元，还搭配了高带宽的HBM显存。

第二是FPGA。现场可编程门阵列的特点是逻辑电路烧录后可以重配，适合算法还在频繁变动、或者对时延极其敏感的推理场景。它的灵活性强，但单卡算力密度通常比不过GPU和ASIC，所以在主流大模型训练里份额不多，主要留在通信、金融、工业等垂直领域。

第三是ASIC。专用集成电路把计算逻辑固化到芯片电路里，只干一件事，但干得极快极省电。Google的TPU、AWS的Trainium和Inferentia、各类NPU都是这个路线。AI芯片调研进行到后半段时你会发现，头部云厂商几乎都在往ASIC方向投入，因为一旦工作负载稳定，ASIC的性耗比优势明显。

第四是类脑芯片、光计算芯片、可重构架构这些更前沿的方向。它们在特定场景有理论优势，比如脉冲神经网络在低功耗端侧诱发识别上有潜力，光计算在某些矩阵运算上有速度潜力，但成熟度目前还不足以进入主流商用。调研阶段了解一下方向即可，不要被实验室指标干扰了判断。

另外还有CPU在AI推理中的角色。很多人做调研时会把CPU直接略过，这是错误。在小模型推理、混合负载场景以及推荐系统这类高并发低算力需求的业务里，CPU依然是主力。Intel的AMX指令集在部分场景下能把单机推理吞吐拉到不错的水平。所以调研芯片，本质上不是挑一个类别，而是找匹配工作负载的算力形态。

搞清楚了品类划分，我习惯再用“一句话定义”来给每个产品定位，比如H100是“面向训练数据中心的通用GPU”，TPU v5e是“面向Transformer模型优化的云端ASIC”，高通NPU是“面向端侧多媒体与AI任务融合的异构计算单元”。这个习惯帮我避免了很多后续讨论中概念错位的麻烦。

2. 真正决定AI芯片体验的不是算力，而是三堵墙

2.1 存储墙：算得再快，数据喂不上也白搭

做AI芯片调研，最容易犯的错误就是一上来比较TFLOPS，好像算力数字大就代表一切。实际上，在Transformer这类大模型训练场景里，芯片的实际性能高度受制于存储带宽。

我用一个生活化类比来解释这个逻辑：算力好比餐厅后厨的灶台功率，灶台再猛，如果传菜员端菜跟不上，客人还是吃不上一桌菜。在深度学习计算里，数据在内存和计算单元之间的搬运，就是传菜环节。大模型训练时，权重矩阵、梯度、中间激活值都要频繁进出内存，存储带宽直接决定了计算单元能不能吃饱。

目前行业里的主流做法，是在芯片旁边堆HBM高带宽内存。以目前市面上标杆产品为例，单颗加速器的HBM带宽已经能做到3TB/s以上的量级，最新的旗舰产品甚至接近8TB/s。这个数字对比传统DDR5内存的带宽提升了一个数量级。但即便这样，存储墙依然存在。

为什么？因为模型参数的增长速度远超硬件带宽的提升速度。一个千亿参数模型，光权重就是几百GB，训练过程中整个权重集合要把内存一遍一遍地扫过。模型参数翻倍，带宽需求基本也翻倍，但HBM的产能和带宽密度却没办法一年翻一倍。所以调研时，看一个芯片能不能跑大模型，先看它的显存容量和带宽，其次再看算力。

我通常用一个经验公式来粗估：如果一个芯片的显存容量乘以带宽之后，明显低于同代模型训练的理论需求，那它在实际场景里大概率跑不满峰值算力，所谓的高TFLOPS就只是纸面数字。

2.2 功耗墙：能效比是数据中心最硬的约束

第二个容易忽略的维度是功耗。AI芯片调研到后期，你会发现一个朴素的现实：电费和数据中心的散热能力，往往是比采购预算更硬的约束。

以一台8卡训练服务器为例，满载功耗动辄能到十千瓦以上。一个机柜塞两到三台这种服务器，功率就逼近不少老机房单机柜的供电上限。如果算上配套的散热和制冷，一个训练集群跑起来，电费账单会比大多数人预想的高出很多倍。

这也是为什么能效比、业内也常说性耗比，正成为各家比拼的焦点。同一档算力，A方案需要700瓦功耗，B方案只需要450瓦，长期运行下来TCO差异会非常明显。更关键的是，在大型数据中心里，机柜功率密度的限制可能直接决定一个集群最终能部署的卡的数量，而数量往往比单卡性能更影响集群总吞吐。

我这次调研中还专门花了时间去了解先进封装技术，包括CoWoS这类2.5D/3D封装工艺。虽然这个环节不属于芯片本身，但HBM堆叠、逻辑芯片和内存的集成方式，直接决定了上面说的存储带宽能不能兑现，也决定了单位面积的散热功耗处理能力。可以说，今天AI芯片竞争的一半，其实发生在封装厂。

2.3 互连墙：单卡再强，集群连不起来等于零

第三个墙，是互连。大模型训练早就不是单卡任务，而是几千张卡协同工作的集群任务。我见过不少人在调研时只看单卡指标，忽略了芯片之间的通信能力，这是很典型的新手失误。

芯片与芯片之间、服务器与服务器之间的通信方式，分为Scale Up和Scale Out两个层次。Scale Up指机内多卡互连，比如很多GPU之间通过高带宽专用总线和交换芯片组成一个超节点，让多张卡像一台巨型机器一样协同工作；Scale Out则指跨服务器的集群网络，目前行业主流方向是RDMA（远程直接内存访问）网络，用以太网或InfiniBand来实现。

Scale Up的带宽通常能达到TB/s级别，Scale Out的单链路带宽目前常见是400Gbps，量级差很多。所以训练一个大模型时，能否高效地把计算任务切分到多个节点，同时让通信开销尽量小，很大程度取决于互连设计。有些芯片单卡做得不错，但集群效率很低，真实吞吐只有理论上限的一半。这类数据在评测报告里通常不会主动呈现，需要调研者自己去厂商案例或行业实测里翻。

我在调研记录里专门列了一张表，比较不同产品的单卡算力、HBM带宽、互连带宽和互连规模上限，这些参数放在一起看，远比单独看算力有意义。

3. 硬件只是入场券，软件生态才是真正的护城河

AI芯片调研进行到中期，一个体会会越来越强烈：这个行业的竞争重心，早就从芯片本身转移到了软件生态。硬件决定了性能天花板，但是决定你实际能用出多少性能的，是软件能不能把硬件“喂饱”。

以目前生态最成熟的GPU平台为例，它的护城河并不只是硬件，而是CUDA这一整套软件栈。从底层驱动、数学库到上层的分布式训练框架、推理引擎，整个链路已经打磨了十几年。业界有大量代码直接跑在CUDA的接口之上，换个硬件平台，意味着这些代码要么重写，要么经过一层转换层的兼容。

这中间的成本有多高？我调研时用一个小实验来感受：拿一个常见的开源深度学习模型，在A平台上编译运行没有任何报错，换到B平台时，光是算子兼容性检查就花了大半天，中间还因为某个自定义算子只支持特定指令集而卡住。这个体验非常直观地说明了，为什么很多团队宁愿继续用老平台，也不愿意切换。

软件栈本身是分层的。最底层是驱动和运行时，决定硬件资源怎么被管理；往上是算子库，提供卷积、矩阵乘法之类的高性能实现；再往上是图编译器和深度学习框架的适配层，负责把模型的计算图翻译成可以在芯片上高效执行的指令序列；最上层就是推理引擎、训练框架这些面对最终用户的组件。

调研一个芯片的软件生态成熟度，我一般看四个问题。第一，主流深度学习框架能不能开箱即用？第二，常用的Transformer结构算子是不是原生支持，还是要自己写kernel？第三，分布式并行能力是否完整，包括张量并行、流水线并行、数据并行这些策略能不能配齐？第四，社区活跃度和可获取的资料多不多？

这四点只要有一点有明显短板，这个芯片就只适合少量样板项目落地，还不具备大规模推广的土壤。

我调研中还注意到一个趋势，就是模型和芯片的协同设计越来越紧密。以前是先有模型再有芯片，现在是模型结构还没定稿，芯片架构设计就得预留对应的算子和访存模式。比如现在大模型普遍采用混合专家（MoE）结构，不同的专家网络分散在不同设备上，这要求芯片能高效处理稀疏激活和全局路由通信。再比如低比特量化越来越主流，芯片能不能高效支持FP8甚至INT4的计算，反而成了一个关键卖点。

从调研的视角看，评估一颗AI芯片的生命周期，除了看它在今天主流模型上的表现，还要判断它在未来两三代模型结构演进后，能不能跟得上。芯片设计到量产普遍在两年以上，如果它的设计基准还停在两年前的模型理解上，采购回来后过两年可能就面临性能瓶颈。这属于长期风险，一般的基础参数评测很难暴露出来。

4. 算力数字背后的口径陷阱：同样的数字，不同含义

现在聊聊调研中比较枯燥、但特别值得留意的部分：性能指标的“口径问题”。

我在翻各种AI芯片技术文档时，最常见的一个现象是，不同厂商对于算力宣传采用了不同口径，导致数字看起来相差很大，实际可能差不了太多。如果调研者只是把官网数字抄进对比表，那结论很容易失真。

4.1 峰值算力与实际利用率之间可能差一倍

先说峰值算力。厂商宣传里最醒目的TFLOPS数字，都是理论峰值，也就是芯片的全部计算单元满负荷运转、且数据供给完全充足时的理想值。真实世界里没有任何一个模型能达到这个状态，因为前面说过的存储墙和通信开销会让计算单元频繁空转。

行业里衡量真实效率，常用一个称为MFU（模型算力利用率）的指标，指的是在训练某个具体模型时，实际计算吞吐占峰值算力的百分比。我调研过的公开案例里，大规模训练集群的MFU通常在40%到60%之间，做到60%以上已经属于工程水平很好的情况了。这意味着，哪怕纸面上是1000 TFLOPS的芯片，跑真实大模型时可能只有500 TFLOPS左右的实际产出。

更关键的是，不同芯片架构的MFU差别很大。GPU因为有非常成熟的软件栈和以数据传输为中心的设计，在通用大模型上MFU往往能维持较高水平；而一些专用芯片，如果恰好模型结构和它的架构设计思路匹配，MFU也能不错，但如果模型结构超出它的适用范围，掉到30%以下也不罕见。所以调研时不能只看峰值，要尽量去找“特定模型下的实测利用率”这类数据。

4.2 稀疏算力与稠密算力

另一个典型的宣传口径，是稀疏算力。有些芯片在计算单元里支持稀疏化技术，可以把矩阵中大量为0的元素跳过不计算。面向稀疏计算的算力指标，数字会明显膨胀，通常是稠密算力的一倍左右。

但稀疏化能带来收益的前提是，模型权重本身真的有很大比例是0，并且需要专门的软硬件配合才能把稀疏性利用起来。目前大多数普遍使用的模型是稠密模型，稀疏化技术还没有成为主流应用，所以拿稀疏算力来对比日常场景，意义非常有限。

做参数对比时，我给自己立了一个标准：所有算力数字统一看稠密算力，如果厂商标注里没有明确说明是稀疏算力，就按最保守的解读去判断。同时还要记录精度条件，FP16和FP8的算力可以差一倍，INT8又更夸张，若不标注精度，任何对比都失去了意义。

4.3 TCO不只是采购价

最后是被很多人忽略的总体拥有成本（TCO）。调研AI芯片时，如果不做TCO分析，只看采购单价，很容易被误导。TCO至少应该包括五个部分：硬件采购成本、配套服务器和网络设备、数据中心电费和散热、软件授权与开发适配成本、以及运维人力。

其中硬件采购成本只是一次性的，而电费和运维是持续支出。一台AI训练服务器跑满5年，电费很可能已经接近甚至超过硬件原始采购成本，尤其是随着单卡功耗不断走高，这个比重还会上升。另外如果换了一个新生态芯片，原有的软件栈、运维体系、监控工具都要跟着换，这部分隐性成本往往比硬件差价大得多。

我这次调研做了个小工具，就是一张表格，把候选芯片依次填入，按照三年生命周期估算每万卡时的成本和有效总算力输出，再比较每单位有效算力的成本。这个表格做下来，很多表面上性价比很高的方案，实际上并没有便宜多少。

5. 市场格局与主要玩家扫描：一句话记住一家

AI芯片调研的核心输出之一，是对市场格局的完整梳理。这个部分我不展开大篇幅的厂商介绍，网上公开资料很多，更有效的方式是把主要玩家按阵营和核心优势拆解成一张认知地图。

5.1 GPU阵营：通用训练的主战场

GPU这一派的市场地位目前仍然非常稳固。从早期的V100，到A100、H100，再到最新的Blackwell架构，每一代产品都成为了训练集群的事实标准。这个阵营的核心优势是软件生态成熟、集群扩展方案完整、市场保有量大，产业链围绕它建立了丰富的工具链和运维经验。

AMD的MI300系列是这一阵营的主要竞争者，制程和HBM规格上都紧跟前沿，软件生态也在持续完善，比如ROCm对主流深度学习框架的适配度已经明显改善。但在调研中我的观察是，MV（模型验证）环节容易出岔子的依然是软件栈细节和第三方库的兼容性，这一点目前和GPU领头羊的CUDA相比仍有差距。

5.2 自研ASIC阵营：云厂商的野望

自研ASIC的驱动力很简单：当工作负载足够稳定、量足够大时，直接造一颗专用芯片以降低单位算力成本。Google的TPU是这个路线的先行者，从2015年走到今天已经迭代了很多代，它的优势在AlphaFold、Gemini等自有模型和云服务场景中体现得相当明显。

AWS的Trainium和Inferentia也是典型代表，前者面向训练，后者面向推理，都搭配了自研的软件栈和云服务体系。国内云计算厂商和一些独立芯片设计公司，比如华为昇腾、寒武纪等，同样在这条路线上持续投入。它们的共同点是，不追求通用场景的全覆盖，而是聚焦Transformer类模型的主流负载，把性价比做出来。

这一阵营的调研要点是：不能只看芯片，要看它所在云平台上能提供多少配套服务。如果只给一颗芯片，不给完整的分布式框架适配和生态支持，那它很难在真实业务里落地。

5.3 边缘与端侧AI芯片：出货量被严重低估的角落？

说一个容易被忽略的事实：按出货量计算，全球使用最多的AI芯片并不是那些数据中心里的加速卡，而是手机里的NPU、汽车里的自动驾驶芯片、摄像头里的图像处理单元。它们的单位算力不大，但胜在功耗极低、集成度高、场景垂直。

苹果的Neural Engine、高通的Hexagon NPU、联发科的APU，还有各类端侧NPU IP，都是这个方向的代表。端侧AI芯片的特点是推理时延要求极高、功耗预算极其苛刻、内存带宽非常有限，所以设计思路和云端芯片很不一样。调研这部分时，重点不是看TFLOPS，而是看每瓦能够完成的有效推理次数，例如每秒每瓦能跑多少次推理，以及在受限条件下模型精度的保持情况。

5.4 容易被忽略的隐形冠军

除了主芯片，AI芯片调研还会延伸到整个产业链。盘了一圈之后，我自己的认知地图里多出了几个“隐形冠军”。HBM内存主要由SK海力士、三星、美光等少数供应商掌控，在高端AI加速器里是不可或缺的关键部件，存储带宽的走向基本由它们决定。先进封装产能主要集中在台积电等头部代工厂的CoWoS等工艺线上，是高端AI芯片量产的卡点，产能紧张时甚至会直接影响整机交付节奏。

还有一个容易被忽视的环节是芯片IP，比如ARM的CPU IP、RISC-V架构在某些端侧AI芯片里的扩展应用。这些在AI芯片的底层设计里扮演了重要角色。调研完整产业链的意义在于，你能够理解一颗AI芯片从图纸到最终交付，中间有多少道工艺和价值量转移，也更能理解为什么有些芯片的供应周期和价格波动会超出预期。

6. 部署场景决定芯片架构：一个参数匹配不了所有需求

AI芯片调研中最核心的判断，不是“哪家芯片最强”，而是“这个场景最适合哪类芯片”。很多讨论有争议，本质上是因为大家拿不同场景的芯片在对比。

6.1 训练场景：最挑剔也最受限

大规模训练对芯片的要求是全方位的：大显存容量以装载大模型，高带宽以持续供数，强计算单元吃矩阵运算，还要有高效的集群互连扩展能力。同时，训练通常对精度要求更高，主流采用BF16/FP16混合精度训练，对低比特训练的支持还在快速演进中。

在这个场景里，单卡的峰值算力虽然重要，但集群效率往往起决定性作用。几千张卡一起训练时，如果每张卡的效率只有理论值的50%，那集群总吞吐就只有一半。这也是为什么，训练集群整机验收时，很多团队会专门跑一遍真实模型，用MFU来评估集群的实际性能。

6.2 推理场景：时延、吞吐和成本

推理部署的需求比训练更分化。在线服务要求极低的时延，比如对话机器人单Token间隔要控制在几十毫秒级别，这需要硬件能在极短时间内完成一次前向计算；离线批量处理则更看重吞吐量和单位成本，跑得越快、成本越低越好。

还有一个新出现的推理痛点：随着上下文窗口不断拉长，KV Cache占据的显存越来越大。KV Cache就是推理过程中需要缓存的历史键值信息，窗口越长缓存越大，直接影响能并发处理多少个请求。这颗芯片推理时的有效并发数和显存容量直接相关，所以在调研推理芯片时，显存容量比算力更值得关注。有些芯片推理算力很强，但显存做不大，实际能跑的并发就受限。

另一个推理场景的关键技术是量化。把权重从FP16压到INT8甚至INT4，能显著降低显存占用和计算开销，同时对芯片的量化算力支持提出要求。调研时要具体看芯片对低比特计算的原生支持能力，而不是只看最高精度的算力。

6.3 端侧场景：功耗和内存带宽的天花板

端侧AI芯片的约束最死。手机、耳机、摄像头、机器人，都要求SoC的功耗控制在几瓦甚至几百毫瓦级别，算力不可能无限堆高。内存带宽更是向上限贴着屋顶走，做不到像云端一样随意堆HBM。

在这种约束下，端侧芯片的竞争点转向了NPU的能效比、以及模型压缩技术在芯片上的配合度。比如手机厂商和芯片厂商联合优化，将大模型量化到4比特后放进端侧，再配合NPU的加速能力，实现在本地跑出一部分生成式AI体验。这类落地案例的价值，并不在于单卡算力数字，而在于单位功耗下能跑出多好的效果。

用一张表来总结不同场景的选型侧重点，会比较直观：

7. AI芯片调研中的实用避坑建议

调研做到最后，我沉淀出几个对后续工作很有帮助的经验，一并写出来供参考。

第一个建议：数据源必须交叉验证。厂商白皮书里的数据是最不客观的，参考价值仅在于解读产品设计思路，而不适合作为横向对比依据。权威一点的第三方评测、公开的性能测试报告、以及在一线做部署的人分享的实际数据，三者各看一遍，取交集，才比较可靠。

第二个建议：看芯片之前，先看它的软件栈和参考实现。如果一个芯片在GitHub上的官方示例仓库还只有几个小型模型跑通，那大概率说明它的生态成熟度不够，面对真实复杂模型时大概率会遇到各种坑。我就是靠这招筛掉了几个看似参数很强的方案，实际上它们的工程团队确实反馈问题一大堆。

第三个建议：一定不要只看单卡，要看集群。真实业务部署时，单卡参数只决定上限，集群效率才决定真实吞吐。有条件的话，尽量找厂商或者已经落地的用户，了解他们在真实模型上的集群MFU数据。这个数据比任何单卡指标都有说服力。

第四个建议：历史迭代节奏也要纳入考量。芯片的迭代速度决定了你采购的平台能不能有良好的延续性。比如同一软件栈下，产品从上一代到下一代升级时，兼容性做得够不够好，直接决定了后续扩容时要不重构系统。芯片更新换代太快不是好事，太快意味着你可能刚刚完成适配，下一代就不兼容了。

最后一个建议，也是我踩过几次坑之后形成的习惯：一开始调研时，先建一个动态更新的对比模板，把芯片参数、软件生态、适用场景、实测数据、供应链信息分栏记录，每看到一个可靠信息就及时更新。这样调研结束时，你手里的不是一堆散落的网页链接，而是一张随时可以用来做决策的活表格。我后面的选型汇报，就是直接基于这张表做的，省了大量整理时间。

这次调研给我最大的感受是，AI芯片领域其实还没有进入稳定期，技术路线、市场格局、软件生态都在快速变化。今天的最优选择，两年后可能就会变得平庸。所以与其把精力花在寻找那个“最强芯片”上，不如建立一套评估方法，让自己随时能客观地评估新出现的选项。这套方法论，才是所谓调研真正能留下来的东西。