SCAIL-2提示词怎么写？Prompt语义详解与Gemini提示增强器实战

• 人工智能
• 大模型
• 媒体生成

SCAIL-2 是一款支持端到端角色动画与角色替换的开源视频生成模型，其--prompt参数直接决定生成视频的质量。本文详解 SCAIL-2 提示词的语义规范，并手把手教你使用官方提供的 Gemini 提示增强器，把一句话指令自动扩写成专业级生成描述。

为什么提示词是 SCAIL-2 出片质量的关键？

SCAIL-2 使用长而详细的文本提示进行训练。官方 README 明确指出：短提示词或空提示词虽然能运行，但对参考主体和动作的详细描述通常能产生更好的结果（详见 README.md 的 Usage 部分）。

因此，写好提示词不是可选项，而是 SCAIL-2 使用的第一必修课。

Prompt 语义规范：写提示词前必须知道的 3 件事

官方在 README.md 中专门设有 "Prompt Semantics" 一节，核心规则可以概括为以下 3 点：

1. 提示词描述的是"生成出来的视频"，而不是给模型的指令

--prompt应该描述最终生成的视频本身，而不是"让模型去做什么"。

• ❌ 错误写法：Replace the man with the person in the image（这是编辑指令）
• ✅ 正确写法：A blond white male wearing a black suit is playing the violin on the street...（描述替换后视频的样子）

2. 动画模式：简短直接即可

在角色动画（Animation）模式下，提示词可以简短，只要说明角色在做什么。官方示例中仅用一句话：

The girl is dancing

配合一张参考角色图 examples/animation_001/ref.jpg：

同样的输入条件下，动画模式的效果演示（左：参考图，右：驱动蒙版）：

3. 替换模式：必须描述"替换之后"的视频

在角色替换（Replacement）任务中，提示词要描述替换已经完成后的视频，官方给出两条关键建议：

1. 描述替换角色的可见服装与外貌（颜色、款式、配饰）
2. 包含角色在视频中交互或靠近的物体——工具、乐器、椅子、表格、车辆、门、手持物品等

官方给出的完整示例（替换一位街头拉小提琴的人）：

A blond white male wearing a black suit, trousers, and leather shoes is playing the violin on the street while pedestrians walk past him.

注意其中"黑色西装 + 长裤 + 皮鞋"的外貌细节，以及"小提琴"这个交互物体——这正是 SCAIL-2 提示词的最佳实践。

替换模式使用的参考图与蒙版见 examples/replace_001/：

一个万能的提示词公式

把上面 3 条规则浓缩成一个可以直接套用的写作框架：

这个公式也恰好与官方 few-shot 示例 examples/prompt_examples.txt 的写作风格一致——那两条示例分别覆盖了"木工车间"与"医院洗手"两个场景，都是按位置 + 外貌 + 动作分解 + 交互物体 + 背景氛围的顺序展开的，值得直接模仿。

Gemini 提示增强器实战：一句话变专业提示词

手动写长提示词费时费力？SCAIL-2 官方提供了一个可选的 Gemini 辅助工具 prompt_enhancer.py，能把一句简短的替换指令自动转写成适合generate.py使用的长描述。

工作原理

增强器内部是两阶段流程（源码见 prompt_enhancer.py）：

1. 视频描述阶段：从源视频均匀抽取帧（默认 8 帧），让 Gemini 输出一段描述源视频场景、动作与被替换者交互物体的英文描述；
2. 提示词增强阶段：结合替换参考图、用户指令、few-shot 示例，让 Gemini 输出一段 90–140 词的英文描述——描述的是替换完成后的视频，并自动遵守"不提身份、保留动作、补充服装与交互物体"等规则。

快速上手步骤

第 1 步：安装依赖并配置 API Key

google-genai不在默认依赖中，需要先安装：

pip install google-genai export GEMINI_API_KEY=your_api_key

第 2 步：运行增强器

python prompt_enhancer.py \ --video /path/to/driving.mp4 \ --image /path/to/ref.png \ --instruction "replace the man in the blue jacket in the video with the person in the image" \ --examples prompt_examples.txt \ --num_frames 8 \ --output enhanced_prompt.txt \ --caption_out source_caption.txt

参数要点：

• --instruction是唯一可以写"把谁换成谁"的地方，因为它只给 Gemini 看，不进入视频生成
• --output写入的才是最终传给generate.py --prompt的"正向视频描述"
• --caption_out可选，保存中间视频描述，方便排查
• --examples指定 few-shot 风格文件，想改变提示词的细节粒度可以直接编辑该文件

第 3 步：把增强后的提示词接回推理

python generate.py \ --model SCAIL-14B \ --ckpt_dir /path/to/SCAIL-2 \ --scail_path /path/to/SCAIL-2.safetensors \ --replace_flag \ --target_w 896 --target_h 512 \ --image /path/to/ref.png \ --mask_image /path/to/ref_mask.png \ --pose /path/to/driving.mp4 \ --mask_video /path/to/replace_mask.mp4 \ --prompt "$(cat enhanced_prompt.txt)" \ --save_file replacement_output.mp4

替换模式的实际生成效果（左：参考图，右：驱动蒙版）：

常用采样参数速查

提示词之外，以下采样参数也常影响出片效果，完整参数说明见 generate.py：

常见问题

Q：提示词可以用中文写吗？建议用英文。SCAIL-2 以长英文描述训练，官方增强器输出的也是英文段落，英文提示词与训练分布最匹配。

Q：提示词留空能生成吗？可以运行，但效果不稳定。官方建议尽量给出参考主体与动作的详细描述。

Q：手部位容易扭曲怎么办？可启用官方发布的 DPO LoRA，它对手部畸变有缓解，同时改善唇部与眼睛的同步效果（用法见 README.md 的 LoRA Integrations 一节，配合--lora_path传入）。

Q：多参考图模式下提示词要改吗？不需要特殊写法，正常描述视频即可。例如官方多参考图示例使用的就是：An anime style character with yellow hair, wearing a white and green sailor uniform and a green skirt, is dancing in a warm anime-style classroom.（示例文件见 examples/animation_003_multi_ref/）

小结

• 提示词描述生成后的视频，不是编辑指令
• 动画模式简短即可；替换模式要写清外貌 + 动作 + 交互物体
• 懒人手写长提示词，用 prompt_enhancer.py 一句话指令自动扩写
• 增强结果通过--prompt "$(cat enhanced_prompt.txt)"传回 generate.py

掌握这套 Prompt 语义规范后，你的 SCAIL-2 角色动画与替换出片质量会有明显提升。

• 人工智能
• 大模型
• 媒体生成