Apple Silicon跑35B级MoE大模型：Qwen3.5-35B-A3B-OptiQ-4bit-REAP-19B内存与速度指南

想在 Mac 上本地运行 35B 级别的大模型，最大的拦路虎就是内存。Qwen3.5-35B-A3B-OptiQ-4bit-REAP-19B 就是为解决这个问题而生：它把 Qwen3.5-35B 的 MoE（混合专家）大模型压缩到12.8 GB 磁盘占用、11.7 GB 运行内存，同时通过 REAP 专家剪枝保留全部推理速度，是 Apple Silicon 上跑 35B 级 MoE 大模型的实用选择。

🎯 先搞懂：它是怎么做到"更小但不更慢"的

这个模型由 mlx-optiq），叠加了两层"瘦身"技术：

1. OptiQ 4bit 量化：把绝大多数权重压到 4bit（目标 4.5 bits/参数），同时对敏感层保留 8bit，量化明细记录在 optiq_metadata.json 中（397 个张量用 8bit、113 个用 4bit，实测 4.513 bpw）。
2. REAP 专家剪枝：MoE 模型每层有大量专家（expert），但每个 token 只激活其中 8 个。REAP（ICLR 2026 提出的 MoE 一次性剪枝方法）按"路由权重 × 专家输出范数"的统计量给专家打分，删掉最没用的专家。本模型每层从 256 个专家保留 128 个，剪掉一半专家，但每 token 激活的 8 个不变——所以体积变小，速度却几乎不变。

关键结论：被保留的专家是逐比特拷贝自父模型的量化版本，没有反量化、没有重训练，精度损失可控。

📊 核心参数一览表：内存与规格速查

架构层面（详见 config.json）：

• 40 层、hidden_size 2048，混合注意力（线性注意力 + 每 4 层一组全注意力），长上下文开销更低；
• 支持256K 上下文（max_position_embeddings: 262144）；
• 词表 248320，且自带视觉塔权重（optiq/optiq_vision.safetensors），即支持图像输入的多模态 MoE 模型；
• KV Cache 也做了量化（kv_config.json）：10 个全注意力层的 KV 被压到 4bit/8bit，进一步省下长对话时的内存。

💻 内存预算：你的 Mac 能跑吗？

模型本体约11.7 GB，再加上系统开销，建议按下面的档位参考：

提速小贴士：由于 KV Cache 已按层量化，长对话时内存增长远低于未量化模型，同样的 32 GB 机器能装下更长的历史消息。

⚡ 速度预期：为什么 A3B 是重点

名称里的A3B = 每 token 约激活 3B 参数。MoE 的妙处就在于：

• 模型总参数 18.8B，带来大模型的"知识容量"；
• 每个 token 实际只走 8 个专家，计算量接近小模型；
• 在 Apple Silicon 统一内存上，专家权重全部常驻内存、按需读取，无需像多卡方案那样搬来搬去。

因此它的推理速度会比同体积稠密模型快得多，适合日常对话、写作、代码补全。需要说明的是：本 checkpoint 未单独做速度基准测试，官方也未公布具体 tokens/s 数值，实际速度请以你自己机器上的表现为准。

🛠️ 一键部署步骤（最快上手方法）

方式一：用 optiq 命令行服务（推荐）

pip install mlx-optiq optiq serve --model mlx-community/Qwen3.5-35B-A3B-OptiQ-4bit-REAP-19B

方式二：mlx-lm 直接加载

from mlx_lm import load, generate model, tok = load("mlx-community/Qwen3.5-35B-A3B-OptiQ-4bit-REAP-19B") print(generate(model, tok, prompt="Hello", max_tokens=64))

方式三：clone 仓库离线使用

git clone https://gitcode.com/hf_mirrors/mlx-community/Qwen3.5-35B-A3B-OptiQ-4bit-REAP-19B

权重分片为 model-00001-of-00003.safetensors、model-00002-of-00003.safetensors、model-00003-of-00003.safetensors，权重索引见 model.safetensors.index.json。

📁 仓库文件清单与说明

📉 剪枝代价：质量上损失了什么

剪枝不是免费的，官方给出了同架构、同保留比例（50%）的 Qwen3.6 版本的全流程验证数据作为参考：

• 综合能力评分：80.03 → 76.57；
• 损失主要集中在 MMLU（−21.4），事实类知识有所削弱；
• 程序化能力基本无损，甚至略有提升：GSM8K +2.6、IFEval +4.3、BFCL −1.0、HumanEval −1.3。

另一个硬指标是剪枝后与未剪枝父模型的KL 散度仅 0.067——经验上超过 1.0 才会在评审中被看出明显退化，本模型远在这条线以内。简单说：日常对话、写作、代码场景几乎无感，重事实检索（MMLU 类）场景会有一定折损。

🏁 总结

• 内存：11.7 GB 即可运行，16 GB Mac 可用、24 GB 舒适、32 GB+ 宽裕；
• 速度：MoE 只激活 8 个专家，A3B 的激活规模让 35B 级模型在 Mac 上依然轻快；
• 质量：剪掉一半专家、体积省 42%，能力保留在实用区间，程序化能力基本无损。

如果你手上有 M 系列芯片的 Mac，又想要 35B 级的模型能力，Qwen3.5-35B-A3B-OptiQ-4bit-REAP-19B 目前是内存与速度平衡上非常值得尝试的本地 MoE 大模型方案。