8 月 12 日深夜,魔搭社区公众号放出重磅消息:Qwen 团队正式开放 Qwen3.8-2.4T-A95B 模型权重。这是 Qwen-Max 级别的模型第一次向社区交出全部参数,消息在开发者圈子里迅速发酵。讨论集中在两个数字上:2.4T和95B。前者是模型的总参数量,后者是每个 Token 真正激活的参数。2.4T 的权重按 BF16 存储要占掉将近 4.8TB 磁盘空间,95B 则决定了推理时至少要准备多少显存。这两个数字一出来,懂行的人第一反应就是:这是一台机构级硬件的游戏。
为什么这次开源值得单独拆解?因为 Qwen 过去一直把 Max 级模型捂在 API 后面。Qwen2.5-Max 时代只开放接口,权重始终没有露面,社区能拿到的开源对照物一直是 72B 或更小的型号。这一次规则变了,官方把旗舰模型直接放上 HuggingFace,仓库名就叫 Qwen3.8-2.4T-A95B。仓库里还附带了 FP8 量化版本,明显是冲着部署场景去的。一个开放权重的 Max 级模型,对自部署团队来说意味着新的可能性。
模型的定位也很明确:延续 Qwen3.5 的混合架构,重点提升编程、办公、科研和长周期 Agent 任务的端到端完成能力。官方评测覆盖编程 Agent、通用 Agent、专业工作和长上下文四个方向,对比对象是 Opus 4.8、Fable 5、GPT 5.6 Sol 这些一线闭源模型。在 PaperBench、IFBench 等基准上,Qwen3.8 拿到了所列模型中的较高成绩。这些数字的含金量见仁见智,但架构和部署细节是实打实的公开资料,值得逐条拆开看。
本文只做一件事:把这份权重背后的架构参数和推理成本账拆开算清楚。先看 MoE 的组织方式,再看长上下文带来的显存压力,最后给出一份可以直接运行的部署配置和显存估算脚本。看完之后,你会知道 2.4T 参数到底意味着什么,也会明白为什么 256K 原生上下文在工程上比参数规模更烧钱。这篇拆解的目标,是让读者在合上文章后能独立完成一次部署评估,而不是停留在参数表的表面。
要理解这次开源的分量,先看 Qwen 家族的分工。开放权重模型和闭源 Max 模型是两条长期并行的产品线,2024 年 Qwen 介绍第一代产品时就明确区分了大型开源模型和大型闭源模型。Qwen-Max-0428 当年只通过 Qwen Chat 和 DashScope API 提供,Qwen2.5-Max 到 2025 年依然只开 API。社区始终拿不到权重,Max 级能力只能隔着接口体验,想要本地复现更是无从谈起。
这次 Qwen3.8-2.4T-A95B 开源,是 Qwen 第一个开放权重的 Max 规模模型,更值得注意的是开源规则本身。许可协议名叫 qwen3.8-max,属于开放权重加自定义商业许可的路线,这和 DeepSeek 的宽松授权形成鲜明对比。模型可以下载、可以微调、可以二次开发,但商业使用条款需要单独审视。3T 级旗舰模型的授权收紧,正在成为国产开源的新常态,选型时必须把许可条款纳入评估。
公告里还有一个细节值得留意:官方预告更小杯的 27B 模型已经在路上。2.4T 的旗舰对绝大多数开发者来说只能远观,因为本地根本跑不动,真正能改变普及程度的是小模型。27B 缺席的当下,这次开源对普通开发者的实际影响其实有限。但它的象征意义依然巨大,Max 级权重开放本身就是一个明确的信号,说明头部厂商开始重新评估开源策略。
把 Qwen3.8 和 Kimi K3 放在一起看,会发现 2026 年旗舰模型出现明显的收敛。总参数都进入 2 到 3T 区间,激活参数都控制在 100B 左右,注意力架构都不再是纯 Transformer。大约四分之三的递归或线性状态层配合四分之一的全局 Attention,上下文目标稳定在百万 Token 量级。后训练重点转向 Coding、Research 和长程 Agent,头部厂商的思路越来越像,连保留推理状态的细节都走到了一起。
先看最硬的参数。Qwen3.8-2.4T-A95B 是一个因果语言模型,总参数 2.4T,每个 Token 激活 95B,一共 92 层,每层都是一个标准的 MoE 模块。每个 MoE 层包含512 个专家,每个 Token 选择 10 个路由专家,除此之外还有 1 个共享专家,不管路由结果如何都会被激活。所以每次前向实际点亮 11 个专家,激活参数总量落在 95B 附近,稀疏比高达二十比一以上。
512 个专家的选择非常讲究。对比 Kimi K3 的 896 个专家,Qwen3.8 的专家数量少了一截,但每个专家的体量更大,总激活量反而更接近。Kimi K3 每 Token 激活 16 个专家约 103B 参数,Qwen3.8 是 11 个专家约 95B。两条路线都试图在稀疏性和专家容量之间找平衡,专家太多会导致每个专家分到的训练数据太少,专家太大又会浪费显存。这个权衡直接决定了推理时的路由和通信开销。
稀疏激活的直接收益是推理成本被摊薄。2.4T 的总参数听着吓人,但实际计算量只跟激活参数挂钩,95B 的激活量意味着单 Token 的 FLOPs 和 95B 稠密模型基本相当。这也是为什么 MoE 能撑起千亿级模型的性价比,代价是显存必须为全部 2.4T 参数买单。权重始终要驻留在 GPU 上,稀疏省的是计算,不省存储,这条铁律决定了部署的下限。
路由机制决定了专家负载是否均衡。每个 Token 选 10 个专家,训练时如果不加约束,热门专家会被疯狂调用,Qwen3.8 沿用了 Qwen3.5 时代验证过的路由方案。共享专家的存在很巧妙,它专门吸收那些所有 Token 都会用到的通用知识。这样路由专家可以更专注于差异性特征,负载也更容易压平,推理引擎的显存碎片问题也会轻一些。
模型还进行了多步 MTP 训练,也就是 Multi-Token Prediction。MTP 让模型在预测下一个 Token 的同时,为后续多个 Token 产出候选,支持相应机制的推理引擎可以利用这一点做投机解码。投机解码的好处是单次前向能验证多个 Token 的预测,有效吞吐可以显著提升。对 95B 激活量的大模型来说,吞吐每提升一点都是实打实的成本下降,这也是官方把训练能力沉淀到推理侧的体现。
官方还提供了 BF16 和 FP8 两套权重。FP8 版本把权重体积直接砍半,2.4T 参数从 4.8TB 降到 2.4TB,配合大集群让自部署的门槛降低了一个量级。当然,低比特量化的代价是精度损失,关键场景需要实测验证,不能只看宣传数字。官方同时兼容 vLLM、SGLang、TokenSpeed 等主流推理引擎,生态适配面很广,这意味着社区工具链可以无缝接上,上手成本比想象中低。
架构上最值得研究的是混合注意力设计。Qwen3.8 不是把传统 Transformer 原样放大到 2.4T,而是对注意力层做了结构性改造。大约四分之三的层采用递归或线性状态层,只有四分之一的层保留全局 Attention,这个比例和 Kimi K3 的思路基本一致。目的只有一个:把长上下文的计算和显存成本压下来,让百万 Token 级别的序列成为日常可用的能力。
为什么混合架构对长上下文如此关键?因为标准 Attention 的开销随序列长度平方增长,上下文从 128K 涨到 256K,注意力部分的计算量要翻四倍。线性状态层则把复杂度压到线性,长度翻倍只带来两倍的负担。用四分之三的线性层承担主要的信息传递,用四分之一的 Attention 层做全局对齐,这个分工既保住了长程依赖,又控制住了成本曲线。
混合架构的代价是实现的复杂度。线性状态层的状态管理比 Attention 的 KV Cache 复杂得多,状态什么时候重置、跨会话怎么传递、并发请求之间怎么隔离,都是工程难题。推理引擎需要为两类层分别做优化,显存规划也要同时考虑两种结构。这也是为什么这类模型必须依赖 vLLM、SGLang 级别的成熟框架,个人手写推理代码基本不现实。
从评测结果看,混合架构没有拖累模型能力。Terminal Bench 2.1 从 74.5 涨到 86.6,SWE-bench Pro 从 60.6 涨到 67.7,PaperBench 更是从 64.8 跳到 93.0,超过了 Opus 4.8 的 80.3。这些提升一部分来自架构,一部分来自后训练,两者缺一不可。官方把办公与 Agent 后训练概括为三个环节:持续扩展真实环境、构建统一奖励系统、搭建在线数据均衡器,每一步都指向可规模化,而不是靠人工堆评测用例。
在线数据均衡器值得一提。它的作用是对每个 batch 进行重构,让任务、难度、工作区与 harness 的分布高度均衡,好处是降低 batch 间梯度方差。真实的 Agent 任务验证方式千差万别,统一的奖励系统消除了维护专用 verifier 的不一致性。这些细节说明 Qwen3.8 的能力提升主要来自后训练工程,架构只是打底,真正的功夫都在数据和组织上。
把 Qwen3.8 和 Kimi K3 的关键参数放在一张表里,差异一目了然。表里每一项都来自两家官方公布的材料,可以作为选型时的对照底稿。先看架构参数,再看上下文与授权,两列数字背后是两种不同的工程取舍。这两款模型都是 2026 年国产开源旗舰的代表,对照着读比单看任何一份公告都更有信息量。
| 参数 | Qwen3.8-2.4T-A95B | Kimi K3 |
| 总参数 | 2.4T | 2.8T |
| 激活参数 | 95B | 103B |
| 层数 | 92 | 96 |
| 专家数 | 512 | 896 |
| 每 Token 专家 | 10 路由 + 1 共享 | 16 个 |
| 原生上下文 | 262,144 | 约 1M |
| 授权模式 | 开放权重 + 自定义许可 | 开放权重 + 自定义许可 |
表格揭示了两种不同的稀疏哲学。Kimi K3 走的是专家多而小的路线,896 个专家让每个专家都很专精,Qwen3.8 走的是专家少而大的路线。512 个专家配合 10 路由加 1 共享的组合,前者的激活参数更多但专家粒度更细,后者的专家体量更大但路由开销更小。两种设计都验证了 100B 量级激活参数的可行性,这个数字区间正在成为 3T 级 MoE 的事实标准。
上下文能力是两张架构最明显的分野。Kimi K3 原生支持接近 1M 的上下文,Qwen3.8 原生是 262,144,扩展后到 1,010,000。也就是说 Qwen3.8 的 1M 能力需要额外的扩展手段,不是开箱即用。对长文档分析和长程 Agent 场景来说,这个差距会直接影响产品选型,应用的核心场景是百万 Token 级别时,Kimi K3 更省事。如果 256K 够用,Qwen3.8 的生态和工具链成熟度则是加分项。
两家都保留了推理状态,这是 2026 年旗舰模型的另一个共识。Qwen3.8 默认开启 preserve_thinking,把之前轮次的推理上下文继续保留下来,Kimi K3 的后训练同样保留了推理历史。多轮交互时要把 reasoning content 和 tool calls 完整送回模型,保留推理状态正在从 Harness 的职责转入模型本身的训练与接口范式。这对 Agent 应用是实质性的进步,长任务不再每次从头推理,跨天任务也有机会维持一致的思路,不会因为一次工具调用就丢掉全局判断。
262,144 Token 的原生上下文意味着什么?这个长度大约可以装下二十多万个汉字,或者几本中等篇幅的技术书,对代码仓库分析场景,它可以一次性读入整个中型项目的核心文件。对长程 Agent 任务,它让多轮工具调用之间的上下文不再被截断,256K 已经成为 2026 年旗舰模型的默认水位线。低于这个数的模型在长任务上会越来越吃力,规划上下文时要提前留出余量。
但长上下文是有代价的,代价集中在 KV Cache。虽然四分之三的层换成了线性状态层,剩余的 Attention 层依然要为每个 Token 维护 KV 状态。以 95B 激活参数、多层 Attention 的规模估算,256K 上下文的 KV Cache 会吃掉大量显存。这就是为什么显存规划必须从权重、激活、KV Cache 三个维度分别算账,缺了任何一块,部署都会在某个瞬间爆显存。
preserve_thinking 是这次开源里最被低估的功能。默认开启意味着模型会把之前轮次的推理上下文保留下来,Agent 在一次工具调用之后,不必只拿着最终答案和工具结果重新开始。它可以继续利用此前已经形成的推理状态,思路不会断。这个机制对长周期 Agent 任务的价值,比多数人想象的要大得多,直接决定了任务完成的连贯性。
reasoning_effort 参数则给了开发者调节推理深度的旋钮。任务简单时可以把推理强度调低,节省 Token 和延迟,任务复杂时调高,让模型多思考几步再作答。这相当于把推理预算变成了显式的可配置项,对生产环境来说,这个参数是控制成本的重要杠杆。官方推荐的采样参数也一并公开:temperature 1.0、top_p 0.95、top_k 20,可以直接抄作业。
必须提醒的是,开源版是纯文本模型,且强制思考模式。多模态输入不支持,thinking 也无法关闭,每一次响应都会先输出 think 包裹的推理过程,再输出最终结果。视觉输入、non-thinking 模式、默认 1M 上下文都留在云端版 Qwen3.8-Max 里。开源的是底座,不是完整产品,这一点在选型时要想清楚,别把 API 版的能力套用到自部署上。
现在开始算最实在的账:把 2.4T 模型部署起来需要多少显存。第一项是权重本身,BF16 精度下每参数占 2 字节,2.4T 参数就是 4.8TB,FP8 精度减半也要 2.4TB。第二项是 KV Cache,由序列长度、层数、头数和 batch size 共同决定。第三项是激活值和中间结果,长序列下同样不可忽视。三项相加,才是单次前向的真实显存需求,任何一项估算失误都会在线上爆雷。
权重 4.8TB 意味着单卡部署完全不可能。以 H100 80GB 计算,光权重就需要 60 张卡,实际部署还要给 KV Cache 和激活留出空间。显存利用率按 90% 算,至少需要 70 张卡起步,绝大多数团队不可能凑出这个规模的集群。这也是为什么 FP8 版本如此重要,它把权重压到 2.4TB,卡数需求直接减半,自部署的门槛瞬间矮了一截。
另一种思路是分片加载加 CPU offload。把不常用的专家权重放到 CPU 内存,GPU 只保留当前激活的专家,对 512 个专家的模型来说,每次只加载 11 个专家的策略在理论上是可行的。但专家切换会带来频繁的 PCIe 或 NVLink 传输,延迟会明显上升。这个方案适合离线批处理场景,不适合在线交互,做实时服务的团队基本不用考虑。
KV Cache 的估算同样不能省。以 92 层中的约四分之一 Attention 层计算,每层头数、头维度乘上序列长度,再乘 batch size,就能得到大致的显存占用。256K 序列、batch 为 1 时,KV Cache 的体量轻松超过 100GB,这还没有算线性状态层自身的状态开销。长上下文的账单,大半都花在 KV Cache 上,这也是混合架构只能缓解不能消除的部分。并发一上来,这个数字还要按倍数继续膨胀。
综合下来,一个诚实的结论是:2.4T 模型的自部署是机构级工程,不是个人开发者能碰的领域。云厂商提供的托管推理反而是多数团队更现实的选择,开源权重的价值更多在于可控性和可观测性,而不是省钱。团队可以自行部署做数据审计,也可以基于权重做领域微调。这些需求在 API 模式下无法满足,正是开源存在的意义。先把需求想清楚,再决定要不要为权重租集群。
如果你所在的团队确实要自部署,vLLM 是目前最顺手的路径。官方明确兼容 vLLM,权重可以直接从 HuggingFace 拉取,下面这份启动命令是真实可运行的配置。集群按 48 卡 H100 规划,tensor-parallel-size 设为 48,把权重和计算均匀分到每张卡上。max-model-len 锁定为 262,144,正好对应原生上下文长度。实际执行时按你手头的卡数调整这个数值即可。
# 48 卡 H100 集群部署 Qwen3.8-2.4T-A95B(FP8 权重) vllm serve Qwen/Qwen3.8-2.4T-A95B-FP8 \ --tensor-parallel-size 48 \ --max-model-len 262144 \ --gpu-memory-utilization 0.92 \ --enable-chunked-prefill \ --max-num-seqs 8 \ --kv-cache-dtype fp8 \ --served-model-name qwen3.8-2.4t \ --trust-remote-code这份配置里的参数每一个都有讲究。tensor-parallel-size 48 把 2.4TB 的 FP8 权重摊到 48 张卡,每张卡负担约 50GB,剩余空间留给 KV Cache 和激活。max-model-len 262144 让模型吃满原生上下文,kv-cache-dtype fp8 则把 KV Cache 的显存占用再砍一半。enable-chunked-prefill 让长提示词的预填充按块进行,避免单次分配巨大显存。max-num-seqs 8 限制了并发序列数,防止多请求同时挤占显存,卡数不够时优先砍它。
如果你手里的卡更少,可以砍掉一部分需求。最直接的办法是降低 max-model-len,把上下文从 262144 砍到 131072,KV Cache 显存直接减半。把 max-num-seqs 从 8 降到 2,并发显存占用也会大幅下降,这些参数都是部署时可以直接调的旋钮。先用小配置验证流程,再逐步放大,是稳妥的上线路径。千万别一上来就挑战极限,先把链路跑通比什么都重要。
除了 vLLM,SGLang 也值得关注。SGLang 在长上下文和 MoE 场景的调度上有自己的优化,它支持 RadixAttention,可以在多轮对话之间复用 KV Cache。对 Agent 场景的多轮工具调用,这个特性很实用,TokenSpeed 则主打极致的吞吐优化。三个引擎的取舍取决于你的场景:vLLM 生态最全,SGLang 长上下文更优,TokenSpeed 吞吐更强。拿小流量各跑一轮基准,数据会替你做出选择。
部署时还有两个工程细节容易踩坑。第一是 prefill 和 decode 的显存分配,长提示词预填充会瞬间吃掉大量显存,第二是专家并行的通信开销。512 个专家分布在多张卡上,Token 路由到其他卡的专家时,要通过 NVLink 传输中间结果。all-to-all 通信在 MoE 推理里占比不小,卡间互联带宽直接决定了扩展效率。这两个问题都藏在配置背后,等上线才暴露就晚了。
机架级高速互联因此成为部署的隐性前提。H100 的 NVLink 带宽在 900GB 每秒量级,这是 MoE 通信的底线配置,如果使用 PCIe 互联的消费级卡,all-to-all 会成为吞吐瓶颈。这也是为什么这类模型基本绑定数据中心级硬件,网络拓扑设计同样重要。全互联结构能显著降低通信延迟,集群规划时要把带宽当作一等公民来对待。
量化是降低门槛的另一条路。官方提供 FP8 权重,社区也有 INT8 甚至更低比特的实践,清微智能的 INT8 版本已经上线 FlagRelease,开箱即用。低比特量化的精度损失在多数任务上可以接受,但敏感场景要实测,量化之外还有投机解码。配合 MTP 训练能显著提升吞吐,这些优化组合起来,才能把 2.4T 模型的单 Token 成本真正压下来。
在动手部署之前,先用一个脚本把显存账算清楚。下面这个 Python 脚本是真实可运行的,只需要 Python 3.8 以上环境,它把权重、KV Cache 两个大头分别估算,再汇总成总需求。参数都放在文件开头的常量区,你可以按实际集群修改,脚本最后会打印每一部分的显存占用和卡数建议。跑一遍比看十篇分析都直观。
import math # 模型常量(Qwen3.8-2.4T-A95B 公开参数) TOTAL_PARAMS = 2.4e12 # 总参数 2.4T NUM_LAYERS = 92 ATTN_LAYER_RATIO = 0.25 # 约四分之一层为全局 Attention NUM_KV_HEADS = 8 # GQA 压缩后的 KV 头数 HEAD_DIM = 128 # 单头维度 GPU_MEM_GB = 80 # H100 单卡显存 UTILIZATION = 0.90 # 显存利用率 def weight_gb(precision_bytes): return TOTAL_PARAMS * precision_bytes / 1e9 def kv_cache_gb(seq_len, batch, dtype_bytes): layers = int(NUM_LAYERS * ATTN_LAYER_RATIO) # 每 Token 每层需 K、V 两份,头数 x 头维度 per_token = layers * NUM_KV_HEADS * HEAD_DIM * 2 * dtype_bytes return seq_len * batch * per_token / 1e9 def main(): print("=== Qwen3.8-2.4T-A95B 显存估算 ===") for seq in (262144, 131072): for batch in (1, 4): kv_bf16 = kv_cache_gb(seq, batch, 2) kv_fp8 = kv_cache_gb(seq, batch, 1) print(f"seq={seq:>7} batch={batch}: KV(BF16)={kv_bf16:7.1f}GB KV(FP8)={kv_fp8:7.1f}GB") w_bf16 = weight_gb(2) w_fp8 = weight_gb(1) cards_bf16 = math.ceil(w_bf16 / (GPU_MEM_GB * UTILIZATION)) cards_fp8 = math.ceil(w_fp8 / (GPU_MEM_GB * UTILIZATION)) print(f"权重(BF16)={w_bf16/1000:.1f}TB 需 {cards_bf16} 张 H100-80G") print(f"权重(FP8) ={w_fp8/1000:.1f}TB 需 {cards_fp8} 张 H100-80G") print("提示:KV Cache 与并发、序列长度线性相关,先跑小配置验证。") if __name__ == "__main__": main()脚本输出会直接给出三组数字。第一组是 KV Cache 在不同序列长度和并发下的占用,对比非常直观,第二组是权重在两种精度下的体积和对应卡数。第三组是提示信息,提醒你 KV Cache 与并发、序列长度线性相关。你可以把 seq 改小,观察显存如何随上下文收缩。多跑几次参数组合,部署方案就出来了,不用靠感觉拍脑袋。
这个脚本刻意只算两个大头,因为激活显存高度依赖具体实现。vLLM 的 chunked-prefill 会把激活限制在可控范围,实际部署时以 vLLM 启动日志里的显存分配为准。脚本的价值在于快速试算,而不是替代真实的容量规划。把脚本跑出来的下限加上 10% 的余量,就是比较安全的起步配置。遇到 OOM 再逐步调参,比一开始就猜个数字靠谱得多。
跑脚本时建议用 Python 直接执行,不需要任何第三方依赖。math 模块是标准库,脚本在任何环境都能运行,文件保存为 estimate_memory.py,在终端执行 python estimate_memory.py 即可。输出会清晰显示每一行账目,这个脚本同样适用于其他 MoE 模型,改掉常量区即可复用。它是我做 MoE 部署评估时的固定工具,每次换模型先跑它,心里就有底了。
专家并行还需要单独聊几句。MoE 模型的 all-to-all 通信发生在每一层,Token 被路由到其他卡上的专家时,隐藏状态要在卡间搬运。专家并行切分得越细,单卡显存压力越小,但通信频率越高。经验法则是把专家分布限制在单个 NVLink 域内,跨域通信的延迟会让收益大打折扣。如果你的集群有多个机柜,优先把专家放在同一个高速互联域里,别让网络拓扑拖累吞吐。
开源规则是这次发布里争议最大的部分。许可协议 qwen3.8-max 属于开放权重加自定义商业许可,不是宽松的 Apache 式授权,模型可以下载、可以研究、可以微调,但商业使用有明确条款。这和 DeepSeek V4 Pro 的 MIT 授权、智谱 GLM-5.2 的 MIT 授权形成鲜明对比,Kimi K3 则走了开放权重加自定义许可的路线。3T 级旗舰的授权正在收紧,这是行业趋势而非孤例。
社区的不满集中在功能裁剪上。HuggingFace 讨论串的标题直接写着 Huge disappointment,抱怨集中在两点:视觉能力被拿掉,一百万上下文默认不开放。社区认为这些功能是被刻意移除,目的是把用户推向付费云端,开源的是底座,不是完整产品,这句 model card 上的话被反复引用。商业选择和技术限制的边界,成了讨论的焦点,短期内不会有定论。
但也要说清楚另一面。2.4T 参数的模型,就算权重完整放出来,全世界能自行部署的机构本来就不多,真正会改变普及程度的是小模型。而 27B 到现在没有出现,从实际影响看,这次释出对绝大多数开发者的影响有限。它的意义更多在于信号层面:Max 级权重开放,说明阿里开始认真对待开源社区。后续 27B 的落地情况,比 2.4T 本身更值得关注。
从合规角度看,开放权重加自定义许可的模式在 2026 年越来越常见。企业在采用这类模型时,需要法务仔细审查授权条款,训练数据、输出权属、商用范围都是容易踩坑的地方。开源并不等于免费商用,这个认知必须建立起来,选型时把授权条款和模型能力放在同等重要的位置。合同审不完就上线,后面补窟窿的成本更高。
对开发者来说,最务实的做法是区分使用场景。研究、评测、学术用途,开放权重完全够用,生产环境长期跑,要先过法务和合规关。算力不足的团队,直接走云端 API 反而更经济,把开源权重当作能力上限的参照物,而不是唯一选择。这样反而能把 Qwen3.8 的价值最大化,也能避免为用不上的能力买单。
发布当天,众智 FlagOS 社区就完成了 Day 0 多芯片适配。清微智能、英伟达、摩尔线程、华为昇腾、昆仑芯在内的 9 款芯片同步获得推理方案,BF16、FP8、INT8 多种精度开箱即用。作为可重构数据流架构代表,清微智能是唯一全部算子通过 FlagGems 原生实现的厂商,它完全不依赖 CUDA 算子路径。这个信号比适配本身更值得琢磨,异构算力的春天可能真要来了。
Day 0 适配意味着 2.4T 级 MoE 推理不再绑定单一硬件生态。硬件适配从 M 乘 N 的逐对组合,简化为 M 加 N 的一次接入,可重构数据流与 GPGPU 架构共享同一套推理软件栈。异构算力协同的想象空间被打开了,对开发者来说,这意味着部署选择更多,议价空间也更大。国产芯片不再只能跑小模型,旗舰模型的适配门槛正在被系统性拆除。选型时把国产卡纳入候选,成本可能低得超预期。
把整个事件放在 2026 年的坐标系里看,Qwen3.8 开源是旗舰模型开放浪潮的一部分。MiniMax H3、Kimi K3、DeepSeek V4 Pro、GLM-5.2 相继开放,国产模型的开放节奏明显加快,HuggingFace 上国产开源模型累计下载量已居全球首位。开源正在成为国产模型对抗闭源阵营的核心筹码,Qwen3.8 的加入,让这个筹码的分量又重了一分。对开发者来说,可选择的前沿模型一下子多起来了。
回到工程视角,这篇拆解真正想传递的信息有三条。第一条,MoE 的稀疏性省的是计算,不省存储,权重显存是部署的第一道门槛,第二条,长上下文的主要账单在 KV Cache,混合注意力只能缓解不能消除。第三条,部署 2.4T 级模型是机构级工程,个人开发者更应该关注小杯模型和云端 API。这三条结论对任何大模型选型都有参考价值,不限于 Qwen 一家。
如果你只记住一组数字,请记住 512 和 11。512 是专家总数,11 是每个 Token 实际点亮的专家数,稀疏化的本质,就是用 2% 的专家处理 100% 的 Token。而 95B 的激活量,决定了单 Token 的推理成本量级,这三个数字组合起来,就是 Qwen3.8 的性价比密码。下一轮模型迭代,大概率还会沿着这条路继续走,提前理解它没有坏处,反而能让你在选型时更从容。
最后留一个观察点。27B 小杯模型何时落地,比 2.4T 旗舰本身更能说明问题,小模型才是开发者生态的入口,是真正能改变普及程度的产品。如果 27B 如期而至且授权友好,Qwen 生态的开发者覆盖会大幅扩张,如果迟迟不来,社区对开源诚意的质疑会继续发酵。这个悬念,比任何基准分数都更值得跟踪,答案会在未来几周揭晓。