- 大模型
- 基础模型
- 推理模型
- 本地部署
- 模型量化
【免费下载链接】LFM2.5-24B-A2B-GGUF
项目地址：https://ai.gitcode.com/hf_mirrors/unsloth/LFM2.5-24B-A2B-GGUF
LFM2.5-24B-A2B 是 Liquid AI 推出的 240 亿参数（激活仅 20 亿）MoE 推理模型，本仓库 LFM2.5-24B-A2B-GGUF 提供了由 Unsloth Dynamic 3.0 量化的全套 GGUF 文件。它专为端侧本地 Agent 而生：在 Apple M5 Max 上解码速度可达184 tokens/s，比同类 MoE 模型最快快 1.7 倍，且占用内存最少。本文带你在这台 Mac 上从零跑起来。
💡 为什么 MoE 模型在 Mac 上这么快？每个 token 只需激活 2B 参数，Apple Silicon 的统一内存带宽优势被彻底释放——读提示词（prompt processing）和吐字（decoding）双双拉满。
先认识 LFM2.5-24B-A2B：小而快的推理模型
| 关键指标 | 数值 |
|---|---|
| 总参数 | 24.0B（每 token 激活约 2.45B） |
| 架构 | 40 层：30 个短卷积块 + 10 个 GQA 层 |
| MoE 路由 | 每块 64 专家，top-4 路由 |
| 上下文长度 | 131,072 tokens |
| 词表大小 | 128,000 |
| 支持语言 | 中、英、日、法、德等 17 种 |
它的定位非常清晰：纯推理（reasoning）+ 工具调用（tool calling）。模型会在回答前自动加上 `
赞
- 大模型
- 基础模型
- 推理模型
- 本地部署
- 模型量化
【免费下载链接】LFM2.5-24B-A2B-GGUF
项目地址：https://ai.gitcode.com/hf_mirrors/unsloth/LFM2.5-24B-A2B-GGUF
相关推荐
Apple Silicon 性能优化：让 LFM2.5-24B-A2B-Preview-5bit 在 Mac 上跑得更快更省的 8 个技巧
Apple Silicon 性能优化：让 LFM2.5 24B A2B Preview 5bit 在 Mac 上跑得更快更省的 8 个技巧 LFM2.5 24B
如何选对硬件跑LFM2.5-24B-A2B-Preview-4bit？Apple Silicon统一内存需求与性能完全指南
如何选对硬件跑LFM2.5 24B A2B Preview 4bit？Apple Silicon统一内存需求与性能完全指南 想在 Mac 上本地运行 LFM2.
5分钟跑起来：LFM2.5-24B-A2B-OptiQ-4bit在Apple Silicon从零到一快速上手教程
5分钟跑起来：LFM2.5 24B A2B OptiQ 4bit在Apple Silicon从零到一快速上手教程 LFM2.5 24B A2B OptiQ 4b
人工智能大模型模型量化模型优化本地部署
上一篇：从仿真到真机：CERLAB-UAV-Autonomy与PX4的无缝对接技巧
下一篇：如何轻松找回消失的网页？时光机插件终极使用手册
创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考
