TensorFold 快速上手：Homebrew 三步安装，在 Mac 上跑起 30B 本地大模型并调用 OpenAI 兼容 API

TensorFold 是一款面向 Apple Silicon 与 NVIDIA GPU 的本地大模型推理引擎，无需 Python、无需安装 MLX，一个 Homebrew 命令装好，就能在 Mac 上以 188–206 tok/s 的速度运行 30B 参数的 Nemotron 3.5 Lightning，并对外提供 OpenAI 兼容 API，方便你用自己的客户端直接调用。

为什么值得在 Mac 上装一个 TensorFold

TensorFold 1.0.5 是一个用 Zig 编写的原生二进制，直接读取模型检查点、调用 Metal 或 CUDA 内核完成推理，因此：

• 零 Python 依赖：不用配 conda、pip 或 MLX 环境，brew install之后即可推理；
• 开箱即用的 HTTP 服务：启动后默认监听http://127.0.0.1:8080/v1，提供 OpenAI 的 chat completions、completions、Responses，以及 Anthropic Messages 接口；
• 经过验证的模型组合：Nemotron 3.5 Lightning 30B-A3B（MLX 4-bit 量化）在 M1 到 M5 全系列 Apple Silicon 上通过测试，是 Mac 上跑 30B 级模型的主力选择；
• 精确解码承诺：草稿（draft）输出必须与同引擎的串行解码逐 token 一致，并发请求的结果也与单请求一致。

第一步：Homebrew 一键安装

打开终端，执行下面两条命令即可完成安装与验证：

brew install ashhart/tensorfold/tensorfold tensorfold --version

如果--version正常输出版本号，说明安装成功。还可以用tensorfold capabilities --json查看当前二进制支持的参数和平台特性。Homebrew 安装脚本位于 packaging/homebrew/tensorfold.rb.in，它会把原生可执行文件安装为tensorfold命令，要求 Apple Silicon（arm64）架构和 macOS Ventura 及以上系统。

第二步：下载 30B 模型到本机

TensorFold 自带pull命令，负责下载模型并逐文件校验完整性（大文件用 sha256，小文件用 git blob sha1），还支持最多 16 条连接的断点续传：

tensorfold pull TensorFold/NVIDIA-Nemotron-3.5-Lightning-30B-A3B-MLX-4bit

下载完成后，可以用下面两条命令检查本机已缓存的模型和它的规格（模型族、格式、上下文、内存需求）：

tensorfold models tensorfold info TensorFold/NVIDIA-Nemotron-3.5-Lightning-30B-A3B-MLX-4bit

提示：模型权重有独立的下载来源和许可，请确认你有权使用该检查点。

第三步：一条命令启动推理服务

用serve命令加载模型并启动服务。--name指定对外暴露的模型 ID，--context限制提示词加回复的 token 总量，--temperature 0表示贪心解码（输出确定性强）：

tensorfold serve TensorFold/NVIDIA-Nemotron-3.5-Lightning-30B-A3B-MLX-4bit \ --name local-model --parallel 1 --context 8192 --temperature 0 --no-thinking

服务启动后默认监听http://127.0.0.1:8080/v1。常用参数速查：

完整的参数表可以在 README.md 中查看，Nemotron 3.5 的更多运行细节见 docs/recipes/nemotron-3.5.md。

调用 OpenAI 兼容 API

先用/v1/models确认服务端暴露的模型 ID：

curl -fsS http://127.0.0.1:8080/v1/models

然后发送一个聊天补全请求：

curl -fsS http://127.0.0.1:8080/v1/chat/completions \ -H 'Content-Type: application/json' \ -d '{"model":"local-model","messages":[{"role":"user","content":"用一句话打个招呼"}],"max_tokens":128,"temperature":0}'

由于接口与 OpenAI 完全兼容，任何 OpenAI SDK 或客户端只需把 Base URL 改成http://127.0.0.1:8080/v1、模型名改成local-model就能直接接入。请求还支持stream流式输出、tools工具调用、response_format结构化输出、logprobs等字段，完整接口与字段说明见 docs/api.md。

已验证的模型与平台一览

TensorFold 1.0.5 只提供服务经过资格验证的模型组合，目前包括：

各模型的运行配方（recipe）都收录在 docs/recipes/ 目录下，例如 Nemotron 3.5 的 docs/recipes/nemotron-3.5.md 覆盖了串行解码、草稿上限、CUDA 双卡部署等内容。

下一步

• 想给 API 加上密钥认证、上下文压缩（--compact-at）等能力，参考 docs/api.md 与 docs/control.md；
• 想用 Linux + NVIDIA 显卡跑同一套服务，归档安装方式见 RUNBOOK.md；
• 想深入理解打包与运行环境（含 CUDA 运行时文件），看 packaging/RUNTIME.md。

到这里，你的 Mac 上已经有一个本地 30B 大模型推理服务在跑了：Homebrew 装引擎、pull下模型、serve起服务，再把任意 OpenAI 兼容客户端指向127.0.0.1:8080/v1即可开始对话。