LLM 供应商集成最终 Checklist
将大语言模型（LLM）集成进生产环境，绝不仅仅是npm install openai并发起一个简单的 API 请求那么简单。
网络抖动、供应商限流（429）、偶发性 502/504 超时、Token 计费失控、未闭合的 JSON 截断、Prompt 注入攻击……任何一个未处理的边缘场景，都会直接在生产环境中引发致命事故。
在完成了九月份的一系列生产级集成后，我们整理了一份包含15 项硬核指标的 LLM 供应商集成最终 Checklist。在任何 AI 特性上线生产前，必须对照逐项打钩验收。
生产级 LLM 集成 15 项最终验收清单
一、网络通信与超时容灾（4项）
- 1. 全链路显式超时配置：所有 HTTP 请求显式配置
AbortSignal.timeout(5000)，建立连接阶段不得无限制挂起； - 2. 指数退避与 Jitter 重试：针对 429 与 5xx 错误，配置带随机扰动的退避重试（最多 2 次），避免加剧服务商雪崩；
- 3. 多供应商自动故障转移（Failover）：主力模型连续 2 次失败后，系统在 10ms 内自动切换至备用平替模型；
- 4. 自动熔断与半开探活：对持续异常的节点进行隔离，并在冷却期后发起低频探活，防止请求反复阻塞在故障节点。
二、流式传输与状态管理（3项）
- 5. SSE 原生断点续传（Last-Event-ID）：流式推送支持轻量缓存，网络瞬断后客户端自动携带 ID 增量补齐；
- 6. 终端流式写入背压控制：检查下游 Socket 缓冲队列（
bufferedAmount），接收缓慢时主动节流防内存爆炸； - 7. 优雅降级文案设计：当全部外部模型不可用时，系统输出人性化中文友好提示，严禁将原生错误堆栈吐给用户。
三、数据解析与容错修复（3项）
- 8. 结构化 JSON 截断自动修补：对未闭合的双引号和大括号进行启发式逆序补全，消除
JSON.parse语法崩溃； - 9. 运行时类型强校验（Zod / TypeBox）：对模型输出的每一个字段进行强类型校验，绝不信任模型的任意原始输出；
- 10. 统一多供应商错误归一化：将异构报错统一转换为标准的业务错误码（如
RATE_LIMITED,AUTH_INVALID）。
四、成本优化与安全防护（5项）
- 11. 本地精准与语义双层缓存：高频相同提问 0ms 本地直接返回，大幅削减重复 API 账单；
- 12. 上下文多维权重裁剪：拒绝无限追加历史，保证单次输入严格收敛在预设 Token 预算内；
- 13. 日志全量脱敏拦截：控制台和日志文件中绝对禁止打印明文 API Key 与敏感个人隐私；
- 14. Prompt 注入标签隔离：不可信用户输入使用严密 XML 标签隔离，防止指令越狱；
- 15. 破坏性操作二次确认（Human-in-the-loop）：删除、转账等高危操作强制触发人类交互确认。
总结
这份 Checklist 是我们过去一个月在真实生产踩坑中，用一行行血泪经验换来的工程规范。
严守清单准则，让每一次大模型集成都具备工业级的稳健与从容。
