如何正确喂给humanizer-12b-OptiQ-4bit输入？逐步拆解prompt_format.json提示词契约

humanizer-12b-OptiQ-4bit 是一个基于 MLX 框架、专为 Apple Silicon 优化的 12B"去 AI 味"改写模型，它接受一种非常严格的固定输入格式——这就是仓库里的 prompt_format.json 所定义的"提示词契约"。格式差一个字节，输出质量都可能打折扣。本文带你逐字段读懂这份契约，并一步步把输入拼装正确。

先搞懂本质：它是补全模型，不是聊天模型

这是使用 humanizer 系列模型最重要的一条前提：

It is a completion model, not a chat model（见 README.md）

模型不是在"对话"，而是在"续写"。它被微调时见过的输入永远是同一个模板：一段固定指令 + 你的草稿 + 一个分隔符。你偏离这个模板（比如加上 system prompt、包上 user/assistant 角色），就等于把模型喂到了它训练分布之外，改写效果会明显变差。

下面逐字段拆解这个契约文件。

prompt_format.json 六个字段逐一拆解

整个 prompt_format.json 很短，但每个字段都有明确分工：

两点值得注意：

• instr的原文要求模型"故意变化句子长度、删掉铺垫句、优先用具体词而非抽象词，允许读起来不那么工整"——这就是"去 AI 味"的效果来源。
• sep里的### Rewritten:不是随便起的标题，它是模型识别"该我输出了"的锚点，一字不能改。

三步拼装输入：instr + draft + sep

官方给出的拼装公式只有一行（见 README.md 中的用法示例）：

prompt = instr + "\n\n" + draft.strip() + sep

拆解成三步：

第 1 步：原样取instr从 prompt_format.json 读出instr的完整字符串，不改写、不翻译、不增删标点。

第 2 步：接上你的草稿先加两个换行符（一个空行），再放你的待改写文本，并且去掉文本首尾的空白（即示例中的draft.strip()）。中英文草稿都可以——模型支持 en/zh 双语改写。

第 3 步：原样追加sep最后把sep的完整字符串拼到末尾，它自带前后空行。

最终送进模型的提示词长这样（……处是你的草稿）：

Rewrite the text below so it reads like a person wrote it, not a language model. ……你的草稿文本…… ### Rewritten:

注意结尾是### Rewritten:之后留空——模型会从这里开始"续写"改写结果，你不需要再写任何提示。

采样参数照抄官方：temperature 1.0 与 top_p 0.95

提示词对了，采样参数也要对。仓库自带的 generation_config.json 给出了官方推荐值：

原模型作者的额外建议：除了 temperature 和 top_p 之外，其他采样开关保持关闭。

用 fingerprint 校验你的提示词拼对没有

prompt_format.json里的fingerprint（cc51d66b4c593fbe）是一个哈希指纹。它的用途非常实用：你可以对自己拼装好的提示词做同样的哈希计算，与fingerprint比对——一致，说明你的instr、空行、sep全部逐字节正确；不一致，说明你某处改了换行、多打了一个空格或动了instr的措辞。

这是新手排错时的第一工具：效果不好时，先查提示词字节，再怀疑模型本身。

常见错误清单：这几件事千万别做

❌加 system prompt——契约里没有这个角色，加了就是画蛇添足。

❌用聊天轮次包装——不要写"用户：请改写……"，chat: false已经明说了。

❌修改或翻译instr——哪怕只改一个词，模型看到的就不再是训练时的模板。

❌草稿前后留大量空白——记得draft.strip()，空行数量要与契约一致。

⚠️英文草稿被改写成中文——这是已知的偶发情况，官方建议的处理方式很简单：重新采样一次即可，通常第二次就能回到正确语言。

关键文件速查

小结

给 humanizer-12b-OptiQ-4bit 喂输入的口诀只有三句：指令照抄、草稿居中、分隔符收尾。把instr + "\n\n" + draft + sep这条拼装公式刻进肌肉记忆，再用fingerprint校验一遍字节，配合 temperature 1.0 / top_p 0.95 的采样设置，你就能稳定拿到"像人写的"改写结果。