Atomic Chat本地API完全指南：用localhost:1337搭建OpenAI兼容的私有推理服务器

为什么要在本地跑一个 API 服务器？

Atomic Chat是一款可以在自己电脑上运行开源大模型的本地 AI 应用。它的杀手锏之一，是内置了一个OpenAI 兼容的本地 API 服务器：只要在应用里加载一个模型，你的电脑就会在localhost:1337上提供一个和 OpenAI 接口几乎完全一致的 REST API。

这对新手和普通用户意味着什么？

• 🔒绝对私有：你的数据、提示词、对话内容永远不出你的电脑，100% 离线运行；
• 🆓零成本：不消耗云端 Token，没有按量计费，一次加载无限调用；
• 🔌无缝迁移：任何支持 OpenAI 接口的程序（Python SDK、Node SDK、各种 AI 编程工具），只需要把base_url改成http://localhost:1337/v1，代码几乎不用动。

下面带你从零到一通，完整走一遍搭建流程。

快速上手：三步启动本地服务器

整个过程不需要写任何部署脚本，全部在图形界面里完成：

第 1 步：加载一个模型

打开 Atomic Chat，在模型 Hub 或模型列表里下载并加载一个开源模型（如 Gemma、Qwen、Llama 系列）。服务器只是转发层，模型必须先加载好，接口才有"大脑"可问。

第 2 步：打开本地 API 服务器

进入Settings → Local API Server（设置 → 本地 API 服务器），点击右侧橙色的Start Server按钮。

第 3 步：确认服务器已就绪

观察页面底部的Server Log区域，看到类似Proxy server started at http://127.0.0.1:1337的日志，就说明服务器已经在localhost:1337上监听了。

💡小贴士：界面上的Auto start开关可以设置"应用启动时自动启动 API 服务器"，适合把本地服务器当长期服务用的场景。

服务器配置详解：端口、前缀与 API Key

在 Local API Server 页面右上角点击Configuration，可以展开完整的配置面板。核心字段如下：

进阶开关（Advanced Settings）：

• CORS（默认开启）：允许浏览器里的网页应用跨域请求这个 API。如果你只从脚本、命令行调用，关闭它可以更安全；
• Verbose Server Logs（默认开启）：实时打印每条请求和响应的详细日志，调试时非常有用。

⚠️安全提醒：把 Server Host 改成0.0.0.0后，局域网内的手机和电脑也能访问你的服务器。除非确实需要远程访问，否则保持默认127.0.0.1即可。

支持哪些接口？端点一览

本地服务器实现的核心路由位于 Rust 后端 proxy.rs，它把请求转发给底层 llama.cpp 推理引擎。对照官方 API Reference 文档，常用端点有：

请求处理逻辑的源码在 src-tauri/src/core/server/ 目录下，接口行为与 OpenAI 官方 API 高度一致，官方还生成了机器可读的接口定义文件 openapi.json，设置页里的API Documentation (Swagger UI)按钮可以打开交互式文档，直接在线调试每个端点。

用 cURL 一分钟验证

服务器启动后，打开终端执行（把YOUR_MODEL_ID换成你在应用里加载的模型 ID，可用/v1/models查询）：

curl http://127.0.0.1:1337/v1/chat/completions \ -H "Content-Type: application/json" \ -H "Authorization: Bearer 你的API_KEY" \ -d '{ "model": "YOUR_MODEL_ID", "messages": [{"role": "user", "content": "给我讲个笑话"}] }'

看到模型返回的 JSON 内容，恭喜你——私有推理服务器已经跑通了。

接入现有项目：只改一行 base_url

如果你的程序用的是 OpenAI 官方 SDK，迁移到本地服务器只需要改base_url和api_key两个参数。以 Python 为例（参考 README 中的示例）：

from openai import OpenAI client = OpenAI( base_url="http://localhost:1337/v1", api_key="你的API_KEY" ) resp = client.chat.completions.create( model="你的模型ID", messages=[{"role": "user", "content": "用一句话介绍自己"}] )

Node.js 项目同理，new OpenAI({ baseURL: "http://localhost:1337/v1", apiKey: "..." })即可。各种 AI 编程助手、Agent 框架也都可以指向这个地址，实现完全离线的智能体运行。

常见问题排查（Troubleshooting）

遇到问题时，先确认Verbose Server Logs已开启，然后在 Server Log 里找具体报错。最常见的四种情况：

更完整的排查说明见官方 Local API Server 文档，服务器生命周期管理的源码在 ownership.rs。

总结

用 Atomic Chat 搭一个私有推理服务器，本质上只有三件事：加载模型 → 启动服务器 → 把客户端指向localhost:1337/v1。

• ✅ 全程图形界面操作，无需手写部署配置；
• ✅ 接口与 OpenAI 兼容，现有代码改一行即可迁移；
• ✅ 数据 100% 留在本机，免费、离线、无限量。

无论是给现有项目换"大脑"，还是给 AI 编程工具提供本地后端，localhost:1337都是你离私有化 AI 最近的一步。🚀