本地部署AI短剧生产线：Ollama+ComfyUI+FFmpeg全流程实战

1. 为什么要在本地搭一套AI短剧生产线

1.1 从“云端抽卡”到“本地工厂”的转变逻辑

做AI短剧这件事，我前后折腾了差不多一年半。最开始那几个月，我完全是云端工具的重度用户，每天开着网页排队、等额度、刷新页面，生成一段五秒钟的镜头要等十几分钟，遇到高峰期直接卡死。最要命的是，你永远不知道下个月的价格会涨成什么样，也不知道哪天你依赖的那个服务会突然改规则。这种“寄人篱下”的感觉，做过内容生产的人都懂——你的产能不掌握在自己手里。

后来我开始认真考虑本地部署这条路。核心原因有三个：第一是成本可控，一次性投入硬件之后，边际成本几乎为零，你生成一百条还是一千条，电费差别不大；第二是数据私密，短剧的剧本、角色设定、分镜提示词这些都属于核心资产，放在自己机器上心里踏实；第三是流程可定制，本地环境里你可以把各个环节串成自动化流水线，从剧本拆解到画面生成再到视频合成，全部用脚本打通，真正实现“输入一个想法，输出一集成片”。

这套思路说白了就是把AI短剧生产从“手工作坊”升级成“流水线工厂”。你不再是一个一个镜头去抽卡，而是设计好一套工作流，让机器批量跑。这个转变的关键，就在于把几个核心工具在本地环境里跑通并且串联起来。

1.2 这套本地方案适合什么样的人

先说清楚，这套方案不是给纯小白准备的“一键出片”神器。它需要你至少具备以下能力中的两到三项：能看懂基本的命令行操作、愿意花时间折腾环境配置、对AI生成的基本原理有概念、有至少一台性能还过得去的电脑。如果你连解压文件都要找人帮忙，那建议先去看看基础的电脑操作教程，或者直接花钱买现成的云端服务，别为难自己。

但如果你符合下面这些描述，那这套方案就非常适合你：你已经在用ComfyUI或者类似工具做AI绘画，想进一步扩展到视频领域；你有一定的编程基础，能看懂Python脚本，知道怎么改配置文件；你打算长期做AI短剧内容，希望建立一套稳定、可复用、成本可控的生产流程；你愿意花一个周末的时间把环境搭好，然后享受后面几个月的自动化产出。

我自己的配置是一台带RTX 4070 Ti Super的台式机，32G内存，2T固态硬盘。这个配置跑本地大语言模型和ComfyUI出图都够用，视频合成环节稍微吃紧但也能跑。如果你还在选硬件阶段，记住一个原则：显存优先于算力，内存优先于硬盘速度。AI短剧这条链路里，显存决定了你能跑多大的模型、出多高分辨率的图，内存决定了你能不能同时开多个环节不卡死。

1.3 整条生产线的环节拆解

在动手之前，你得先搞清楚AI短剧从零到成片要经过哪些步骤。我把整条链路拆成五个核心环节，每个环节对应一个或几个工具：

这五个环节里，剧本生成和画面生成是大家最熟悉的，视频生成是当前技术迭代最快的部分，语音合成相对成熟，视频合成则是纯工程活。整条链路串起来之后，你就可以实现“给一个主题，自动产出一集短剧”的效果。当然，实际做的时候每个环节都需要人工干预和调整，但至少框架是自动化的。

2. 本地环境搭建的核心工具选型与配置

2.1 大语言模型本地部署：Ollama与DeepSeek的搭配

剧本生成环节，我试过好几种方案。最早用的是云端API，后来转到本地部署，目前最顺手的是Ollama + DeepSeek的组合。Ollama的好处是安装简单、模型管理方便，一条命令就能拉取和运行模型。DeepSeek系列模型在中文理解和创意写作上表现不错，尤其是写短剧这种需要对话和冲突设计的任务，比一些通用模型更对味。

安装Ollama的步骤很简单，去官网下载对应系统的安装包，双击安装，然后在终端里运行：

ollama pull deepseek-r1:14b ollama run deepseek-r1:14b

第一行命令是拉取模型，第二行是运行。14B这个版本在我的4070 Ti Super上跑起来比较流畅，生成速度大概每秒20-30个token，写一集短剧的剧本大概需要两三分钟。如果你显存只有8G，建议用7B或8B的版本，速度会快很多，质量差距在短剧这种场景下不算太明显。

注意：Ollama默认把模型存在系统盘，如果你的C盘空间紧张，记得在安装后设置环境变量OLLAMA_MODELS指向其他盘符。这个坑我踩过，模型文件动辄十几G，C盘很快就红了。

写剧本的时候，提示词的设计很关键。我一般会准备一套模板，包含短剧类型、目标时长、角色设定、核心冲突这几个要素。比如你要做一集三分钟的都市甜宠短剧，提示词可以这样写：

你是一位专业的短剧编剧。请根据以下要求写一集3分钟的短剧剧本： 类型：都市甜宠 角色：女主是咖啡店老板，男主是常来买咖啡的程序员 核心冲突：女主误以为男主是来收购店铺的商人 要求：包含5个场景，每个场景有明确的画面描述和对白，结尾留悬念

这套提示词我反复调整过很多次，关键是要把“画面描述”单独列出来，因为后面ComfyUI生成画面时需要用到这些描述。如果剧本里只有对白没有画面描述，你还得再花时间转换，很麻烦。

2.2 ComfyUI的安装与秋叶整合包的选择

ComfyUI是整条链路里最核心的工具，负责画面生成和视频生成。它的安装方式有好几种，我推荐新手直接用秋叶整合包。原因很简单：ComfyUI本身依赖一大堆Python库和模型文件，手动配置环境很容易出现版本冲突，秋叶整合包把这些都打包好了，解压就能用。

下载秋叶整合包的时候注意版本，2026年的v10版本已经比较成熟了，内置了常用的节点和插件。解压到一个空间充足的硬盘分区，然后运行启动脚本。第一次启动会慢一些，因为要初始化环境，后面就快了。

启动之后你会看到一个节点式的界面，这就是ComfyUI的工作流编辑器。它的逻辑是：每个节点代表一个操作，节点之间用线连接表示数据流向。比如“加载模型”节点输出模型，“输入提示词”节点输出文本，“采样器”节点接收模型和文本，输出图像。这种设计一开始可能不太习惯，但用熟了之后非常灵活，你可以精确控制每一步。

提示：秋叶整合包默认的工作流是文生图，做短剧需要用到图生视频的工作流。你可以在ComfyUI的插件市场里搜索视频相关的节点，或者直接导入别人分享的工作流JSON文件。我建议先去社区找几个成熟的短剧工作流，导入之后根据自己的需求微调，比从零搭建快得多。

ComfyUI的模型文件放在models目录下，不同用途的模型放在不同子目录：checkpoints放主模型，loras放风格微调模型，vae放编码器，controlnet放控制模型。做短剧的话，我建议至少准备两三个不同风格的主模型，比如一个写实风、一个动漫风，根据剧本类型切换。

2.3 FFmpeg的安装与基础命令准备

FFmpeg是视频合成环节的瑞士军刀，功能极其强大，但命令行参数也多得吓人。新手第一次看到FFmpeg的文档基本都会懵，我当初也是。但你不需要掌握全部功能，做AI短剧只需要用到其中一小部分。

安装FFmpeg在Windows上最简单的方式是下载编译好的压缩包，解压后把bin目录添加到系统环境变量PATH里。验证安装是否成功，在终端里输入：

ffmpeg -version

如果能看到版本信息，说明安装成功。Linux用户可以用包管理器安装，但要注意有些发行版自带的FFmpeg版本较老，可能不支持某些新编码器。如果你需要硬件加速编码，建议安装带NVIDIA支持的版本，具体方法后面会讲。

做短剧最常用的FFmpeg操作有这么几个：把图片序列合成视频、把音频和视频合并、给视频加字幕、调整视频分辨率和码率、拼接多个视频片段。这些操作对应的命令我整理了一个速查表，放在后面的实操章节里。

2.4 OpenClaw在自动化流程中的角色

OpenClaw这个工具在热词里出现频率很高，它的定位是自动化流程编排。简单说，它可以把前面几个环节串起来：你给它一个主题，它自动调用大语言模型生成剧本，然后把剧本拆成分镜，再调用ComfyUI生成画面，最后调用FFmpeg合成视频。整个过程不需要你手动干预。

安装OpenClaw的方式有几种，Windows上可以用WSL2环境，Mac上直接安装，甚至可以在安卓的Termux里原生部署。我主要用Windows的WSL2方案，因为和主系统的文件交互比较方便。安装过程中可能会遇到“could not safely verify the wsl2 environment”这类报错，通常是WSL2的版本或配置问题，更新WSL内核或者重新启用相关功能一般能解决。

OpenClaw的配置文件是核心，你需要定义每个环节调用什么工具、传什么参数。比如剧本生成环节，你要指定用哪个Ollama模型、提示词模板放在哪里；画面生成环节，你要指定ComfyUI的API地址和工作流文件路径。配置好之后，OpenClaw就能按照你定义的流程自动执行。

注意：OpenClaw的自动化程度越高，出错时的排查难度也越大。建议先把每个环节单独跑通，确认没问题之后再串成自动化流程。我一开始贪快，直接上全自动，结果中间某个环节报错，花了半天才定位到问题。

3. 从剧本到成片的完整实操流程

3.1 剧本生成与分镜拆解的具体操作

假设你已经装好了Ollama和DeepSeek，现在要生成一集短剧的剧本。我通常分两步走：先生成故事大纲，再扩写成完整剧本。这样做的好处是可控性更强，如果大纲阶段发现方向不对，调整起来比改完整剧本容易得多。

第一步，生成大纲。提示词这样写：

请为一个3分钟的都市悬疑短剧写一个故事大纲，要求： - 主角是一个外卖员，某天送餐时发现收件人已经死亡 - 包含3个反转 - 每个反转用一句话概括 - 结尾留一个未解之谜

DeepSeek生成的大纲大概两三百字，包含基本的故事走向和反转点。你看一遍，觉得方向可以，就进入第二步。

第二步，扩写成完整剧本。把大纲贴进新的提示词里，要求生成包含场景描述、对白、镜头建议的完整剧本。这里有个技巧：明确要求模型用结构化的格式输出，比如每个场景用【场景X】开头，下面分画面：和对白：两栏。这样后面用脚本解析的时候方便很多。

剧本生成之后，你需要把它拆解成ComfyUI能理解的分镜提示词。这个转换过程可以手动做，也可以写个简单的Python脚本自动处理。手动做的话，就是把每个场景的“画面”描述提取出来，翻译成英文（大部分图像模型对英文提示词响应更好），再加上风格关键词。比如“咖啡店内部，暖色调灯光，女主站在柜台后面”转换成：

interior of a cozy coffee shop, warm lighting, a young woman standing behind the counter, cinematic composition, soft focus background, film grain

我一般会准备一个风格模板，把画质、光线、构图这些通用关键词固定下来，只替换场景描述部分。这样能保证整集短剧的画面风格统一。

3.2 ComfyUI工作流搭建与批量出图

ComfyUI的工作流搭建是整条链路里最需要耐心的部分。我建议从社区找一个成熟的短剧工作流作为起点，然后根据自己的需求修改。一个典型的短剧工作流包含这些节点：

• Checkpoint加载器：加载主模型
• CLIP文本编码器：把提示词转换成模型能理解的向量
• KSampler采样器：根据提示词和模型生成图像
• VAE解码器：把潜空间数据转换成像素图像
• 图像保存节点：把生成的图像存到硬盘

如果是图生视频的工作流，还会多出视频模型加载、帧插值、视频编码这些节点。视频生成目前比较吃显存，我建议先用512x512或768x768的分辨率出图，再用放大模型提升分辨率，这样比直接生成高分辨率视频要省资源。

批量出图的关键是队列管理。ComfyUI支持一次提交多个提示词，它会按顺序生成。你可以把一集短剧的所有分镜提示词整理成一个文本文件，每行一个，然后用脚本批量提交。我写过一个简单的Python脚本，读取提示词文件，通过ComfyUI的API逐个提交任务，生成完一张自动提交下一张。这样你晚上睡觉前启动，第二天早上就能看到一整集的画面素材。

提示：ComfyUI的API默认监听127.0.0.1:8188，你可以用Python的requests库发送POST请求来提交任务。具体的API格式可以在ComfyUI的设置里开启开发者模式后查看。我建议先用界面手动跑通一个工作流，然后用“导出API格式”功能拿到JSON，再基于这个JSON写脚本。

出图过程中有几个参数需要特别注意。采样步数一般设20-30步，太低画面粗糙，太高收益递减。CFG值控制在7-9之间，太高颜色会过饱和，太低画面会发灰。随机种子如果固定，同样的提示词会生成同样的图，方便复现；如果设为-1，每次都会随机。做短剧的时候，同一个角色的不同镜头需要保持一致性，这时候可以用固定的种子加上角色LoRA来实现。

3.3 视频片段生成与FFmpeg合成

画面生成之后，下一步是把静态图转成动态视频。目前ComfyUI里有几种方案：一种是直接用视频生成模型，比如基于SVD或类似架构的节点；另一种是用帧插值加轻微运镜，把静态图做出动态效果。前者效果更好但更吃资源，后者速度快但动作幅度有限。

我自己的做法是混合使用：关键镜头用视频模型生成，过渡镜头用静态图加运镜。运镜效果可以用FFmpeg的zoompan滤镜实现，比如缓慢推近或拉远，给静态画面增加一点动感。命令大概是这样：

ffmpeg -loop 1 -i input.png -vf "zoompan=z='min(zoom+0.001,1.5)':d=125:s=1920x1080" -t 5 -pix_fmt yuv420p output.mp4

这条命令的意思是：把一张静态图放大到1920x1080，用5秒的时间缓慢放大到1.5倍，生成一个5秒的视频片段。d=125表示持续125帧，按25帧每秒算就是5秒。

所有视频片段生成好之后，用FFmpeg拼接起来。拼接有两种方式：一种是直接用concat协议，把文件名列表写进一个文本文件，然后：

ffmpeg -f concat -safe 0 -i filelist.txt -c copy output.mp4

另一种是先统一转码再拼接，适合片段格式不一致的情况。我一般用第一种，速度快且不损失画质。

音频合成方面，如果你用本地TTS工具生成了对白配音，可以用FFmpeg把音频和视频合并：

ffmpeg -i video.mp4 -i audio.wav -c:v copy -c:a aac -shortest final.mp4

字幕的话，可以生成SRT格式的字幕文件，然后用FFmpeg烧录进视频：

ffmpeg -i input.mp4 -vf "subtitles=subtitle.srt" output.mp4

3.4 用OpenClaw串联全流程的配置方法

当你把每个环节都单独跑通之后，就可以用OpenClaw把它们串起来了。OpenClaw的配置文件通常是一个YAML或JSON文件，里面定义了一系列步骤，每个步骤指定要执行的命令或调用的API。

一个简化的配置大概长这样：

steps: - name: generate_script type: ollama model: deepseek-r1:14b prompt_file: prompts/script_template.txt output: output/script.txt - name: split_scenes type: python script: scripts/split_scenes.py input: output/script.txt output: output/scenes.json - name: generate_images type: comfyui workflow: workflows/short_drama.json input: output/scenes.json output: output/images/ - name: generate_videos type: comfyui workflow: workflows/img2video.json input: output/images/ output: output/videos/ - name: compose_final type: ffmpeg script: scripts/compose.sh input: output/videos/ output: output/final.mp4

这个配置定义了五个步骤，每个步骤的输出作为下一个步骤的输入。OpenClaw会按顺序执行，中间任何一步出错都会停下来并报错。你可以设置出错时是否重试、是否跳过、是否发送通知。

实际使用的时候，我建议加一个“人工审核”环节。比如剧本生成之后，先让你看一眼，确认没问题再继续后面的步骤。全自动虽然爽，但AI生成的内容质量不稳定，有时候剧本逻辑不通，后面生成的画面再精美也救不回来。OpenClaw支持在步骤之间插入等待确认的指令，具体用法可以查它的文档。

4. 实操中踩过的坑与排查技巧

4.1 环境配置阶段的典型报错与解决

Ollama模型拉取失败是最常见的问题。如果你在国内网络环境下，拉取模型可能会超时。解决办法是配置镜像源，或者手动下载模型文件放到Ollama的模型目录里。手动放置的时候注意目录结构，Ollama对文件命名有特定要求，放错了识别不出来。

ComfyUI启动报错缺少DLL，通常是Visual C++运行库没装全。去微软官网下载最新的VC++运行库安装包，装完重启电脑一般就能解决。如果还不行，检查一下你的显卡驱动是不是太旧，ComfyUI对驱动版本有最低要求。

FFmpeg命令执行报错“Unknown encoder”，说明你下载的FFmpeg版本不包含某个编码器。比如你要用h264_nvenc做硬件加速编码，但下载的是不带NVIDIA支持的版本，就会报这个错。解决办法是去FFmpeg官网找带NVIDIA支持的编译版本，或者自己编译。Linux下安装NVIDIA版本FFmpeg可以用包管理器加特定源，具体命令因发行版而异。

OpenClaw报“could not safely verify the wsl2 environment”，这个问题我遇到过两次。第一次是WSL2内核版本太旧，更新内核后解决。第二次是Windows的虚拟机平台功能没启用，在“启用或关闭Windows功能”里勾选“虚拟机平台”和“适用于Linux的Windows子系统”，重启后解决。

4.2 生成质量不稳定的调优思路

AI短剧最让人头疼的就是角色一致性。同一个角色在不同镜头里长得不一样，观众一眼就能看出来。解决这个问题有几个思路：一是用角色LoRA，训练一个专门针对这个角色的微调模型，生成的时候加载这个LoRA，能大幅提升一致性；二是用IP-Adapter或类似技术，把参考图作为条件输入，让模型参考这个角色的特征；三是固定种子加详细描述，把角色的外貌特征写死在提示词里，每次生成都用同样的种子。

画面风格不统一是另一个常见问题。一集短剧里有的镜头写实、有的镜头动漫风，看起来很割裂。解决办法是固定主模型和风格提示词，所有镜头都用同一套配置。如果某个镜头需要特殊风格，单独处理，不要混在一起批量生成。

视频片段之间衔接生硬，这个问题在转场处特别明显。我的经验是：在剧本阶段就设计好转场方式，比如用“淡入淡出”或“黑场过渡”，然后在FFmpeg合成的时候加上对应的转场滤镜。不要指望AI生成的视频片段能自然衔接，那需要非常精确的控制，目前还很难做到。

4.3 性能瓶颈的识别与优化

跑整条链路的时候，你会明显感觉到有些环节特别慢。我总结了一个性能瓶颈速查表：

硬件加速这块重点说一下。FFmpeg用CPU编码和用GPU编码的速度差距可能有五到十倍。如果你有NVIDIA显卡，在FFmpeg命令里加上-c:v h264_nvenc就能启用硬件编码。前提是你的FFmpeg版本支持NVENC，可以用ffmpeg -encoders | grep nvenc检查。

ComfyUI这边，确保你的PyTorch是CUDA版本，而不是CPU版本。可以在ComfyUI的启动日志里看到它用的是CUDA还是CPU。如果是CPU，说明PyTorch装错了，需要卸载重装CUDA版本。

4.4 常见问题速查与独家避坑建议

问题一：生成的剧本太长，一集根本拍不完。解决办法是在提示词里明确限制字数或场景数，比如“请写一集3分钟的短剧，不超过5个场景，总字数控制在800字以内”。DeepSeek有时候会写嗨了，你不限制它就给你写一部长篇。

问题二：ComfyUI生成的人物手指畸形。这是图像模型的通病，目前没有完美解决方案。我的做法是：在提示词里加“perfect hands”之类的正向词，同时在负面提示词里加“bad hands, extra fingers”。如果还是不行，就调整构图，让手部不出现在画面里，或者用手部修复节点后期处理。

问题三：FFmpeg合成的时候音画不同步。通常是音频采样率和视频帧率不匹配导致的。在合成命令里加上-ar 44100和-r 25强制统一采样率和帧率，一般能解决。

问题四：OpenClaw自动化流程跑到一半卡住。先检查是不是某个环节在等待输入。比如ComfyUI的某个节点需要手动确认，自动化流程就会卡在那里。解决办法是在工作流里把所有需要交互的节点都改成自动模式，或者在OpenClaw配置里设置超时时间，超时后自动跳过。

问题五：生成的视频文件太大，上传平台受限。用FFmpeg压缩，调整码率和分辨率。比如：

ffmpeg -i input.mp4 -c:v libx264 -crf 23 -preset medium -c:a aac -b:a 128k output.mp4

-crf 23是质量参数，数值越大压缩越狠，一般18-28之间比较合适。-preset medium是编码速度，越慢压缩率越高，但耗时越长。

独家建议：整个流程里，最值得花时间优化的是提示词模板。我前后改了十几版剧本提示词和画面提示词，每改一次，生成质量就提升一截。建议你建一个专门的文件夹存放各种模板，按短剧类型分类，用的时候直接调用。这个积累过程是别人抄不走的，也是你做出差异化内容的核心竞争力。

另外，定期备份你的工作流文件和模型配置。ComfyUI的插件更新有时候会破坏旧工作流的兼容性，我就遇到过更新之后某个节点报错，回滚才解决。把稳定的工作流导出成JSON存好，出问题的时候能快速恢复。