AI漫剧创作全流程工作台：从剧本到成片的工业化实践

简介：随着AI视频生成技术的成熟，角色一致性成为影响作品质量的关键瓶颈。传统创作流程中，剧本、角色、分镜、配音等环节相互割裂，信息靠人工拷贝，导致修改成本高、产出效率低。全流程工作台通过将文本分析、资产管理与视频生成串联为结构化流水线，让数据在环节间自动流转，从而保障角色形象统一、支持批量修改与复用。该方案适用于AI漫剧、短剧的个人创作者与小团队，能显著提升产能上限。AgentCine作为典型实现，拆解了从剧本解析到成片输出的完整实操路径。 年底这段时间，AI漫剧和短剧的创作热度一直没降，但真正下过场子的人应该都有同感：现在缺的不是单点工具，而是把整条生产线串起来的东西。我自己从剧本到成片完整跑过几轮，最深的感觉就是流程断层严重——写剧本在A平台，画角色在B工具，做分镜靠手画表格，配音又得切到另一个软件，最后视频生成再来一轮折腾，中间光是对齐角色形象、整理描述词、导出素材就能耗掉大半天。AgentCine 这类全流程工作台，就是把文本分析、角色场景资产管理、分镜、配音、视频生成这几件事装进同一个工作流里，让创作从“拼积木”变成“流水线”。这篇内容适合正在做AI漫剧、短剧的个人创作者和小型团队参考，我会结合自己跑通项目的经验，把每个环节的拆解思路和实操细节都摊开来讲。

1. AI漫剧与短剧创作，为什么需要工业级工作台

1.1 这个赛道现在到底卡在哪

AI漫剧的产出链路，本质上是一个内容工厂，但大多数创作者还在用手工作坊的方式运作。先拿剧本去问大模型要角色设定和分集提纲，然后去Stable Diffusion或者Midjourney里画角色图，画完发现不同镜头里角色长得不一样，只能回头调LoRA、调参考图权重。场景图、道具图又是另一套文件夹，命名全靠自觉。到了分镜阶段，绝大多数人是用Excel或者WPS表格手动填“镜号、景别、画面描述”，配音再单独找TTS工具生成，最后视频生成一段一段出，再用剪辑软件拼起来。

这条路不是走不通，而是每一步之间的信息传递都是靠人肉拷贝。角色描述词在剧本阶段写一遍，画图阶段又写一遍，视频生成阶段还要再写一遍，三遍下来必然会有细节丢失。更麻烦的是修改链：如果主角的衣服设计改了，理论上所有相关镜头的画面描述、提示词、参考图全都要跟着动，手工模式下这几乎是不可能完成的任务。这也是为什么很多AI漫剧做到一半就烂尾——不是能力问题，是流程问题。

1.2 AgentCine 的设计思路：把流程串成流水线

AgentCine 最核心的设计思路，是把“数据”放在创作流程的中心位置，而不是把“工具”放在中心。剧本不再只是一段文字，而是会被解析成结构化的角色表、场景表、情节节点、对白列表；角色不再只是一张好看的图片，而是带有描述词、参考图、LoRA标识、表情库的完整资产；分镜不再是Excel里孤零零的一行字，而是串联起场景资产、角色资产、对白音频、时长参数的调度指令。

这个设计思路的好处在于，每一级产出的信息都能被下一级直接引用，而不是被重新描述一遍。分镜表里写“近景、主角、惊讶表情、咖啡馆内景”，系统知道“主角”对应哪个角色资产包，“咖啡馆内景”对应哪张场景底图，惊讶表情对应哪种表情模板或者参考图。这种引用关系一旦建立起来，批量修改就变得很轻松，角色形象更新了，所有引用它的镜头描述都会同步感知。

1.3 和传统创作方式的对比

我整理了一张对比表，方便还没入场的读者快速理解全流程工作台和手工串联之间的差异：

对单兵作战的个人创作者来说，全流程方案省的是时间和精力；对3到5人的小团队来说，省的是沟通成本；对想要每周稳定更新的工作室来说，全流程方案直接决定了产能上限。

2. 文本分析模块：把剧本变成结构化数据

2.1 剧本里到底要拆出什么

文本分析是整条流水线的第一个环节，也是最容易被低估的环节。很多人以为文本分析就是把剧本丢给大模型总结一下剧情梗概，其实真正重要的是把剧本里埋着的创作参数全部提取出来，让后续环节不需要再去读原文。

需要拆解的信息大致分四类。

第一类是角色信息。不止是名字，还包括外貌关键词、性格标签、说话风格、常用动作习惯。比如“一个穿红色风衣的短发女孩，性格倔强，生气时爱抱手臂”，比单纯列个角色名对画图和配音的指导意义大得多。

第二类是场景信息。每个场景的地点、时间段、光线氛围、天气状况、环境的标志性物件。比如“老城区巷子里的咖啡馆，傍晚，暖黄灯光，木质桌椅上摆着旧书”，这些描述是后续生成场景底图的直接素材。

第三类是情节与节拍。剧本里的起承转合、关键事件、情绪转折点，这些会直接影响分镜的节奏设计和配音的情绪把控。

第四类是对白与情绪标记。每一句对白是谁说的、用什么语气说的、情绪状态是什么样的，这是配音模块的输入依赖。

2.2 用LLM抽取结构化信息的实操方案

在具体实现上，现在最可行的方案就是用大语言模型来做信息抽取，但关键不在于模型选多强，而在于Prompt的设计和输出格式的约束。

我自己的做法是让模型输出一个严格字段的JSON结构，而不是让模型自由发挥写一段总结。下面是我常用的一段抽取Prompt结构，大家可以参考：

{ "characters": [ { "name": "角色名", "appearance_keywords": ["外貌关键词"], "personality": ["性格标签"], "speaking_style": "说话风格描述", "default_actions": ["常用动作"] } ], "scenes": [ { "id": "S01", "location": "地点", "time": "时间段", "atmosphere": "氛围描述", "key_props": ["标志性物件"] } ], "plot_beats": [ { "beat_id": "B01", "summary": "情节摘要", "emotional_tone": "情绪基调" } ], "dialogues": [ { "id": "D01", "character": "说话角色", "text": "对白内容", "emotion": "情绪标签", "intensity": 1 } ] }

这里有几个实操要点：

第一，输出格式一定要用JSON约束，并且明确要求“不要输出JSON以外的任何内容”，否则模型偶尔会在JSON前后加解释性文字，解析脚本还得做兼容处理。

第二，每个角色、场景都要给出稳定的ID标识。后续资产管理和分镜都会用这个ID来引用，宁可取“C01”“S01”这种无意义编码，也不要直接用中文名，因为中文名在后期文件名拼接时容易触发编码问题。

第三，外貌关键词要尽可能具体，避免描述词里全是“美丽的”“帅气的”这类不可用于绘画定性的形容词。适合AI绘画的描述词应该是“红色短卷发”“深棕色眼睛”“左耳戴银色耳环”这类可视觉化的信息。

2.3 幻觉问题的应对

大模型抽取信息时经常会产生幻觉，这是绕不开的问题，尤其是角色设定比较复杂的剧本，模型会把A角色的特征安到B角色身上，或者凭空捏造一个剧本里根本没出现过的场景。

我目前的应对策略是加一道“人工确认闸门”。抽取完的结构化数据不要直接进资产库，而是快速扫一遍角色表和场景表，对照原剧本检查有没有明显错误。这个步骤花不了10分钟，但能避免带着错误数据往下游走。数据一旦进入资产库，再想修正就要牵扯后面的分镜和生成环节，成本会成倍增加。

另外一个小技巧是，如果剧本较长，不要一次性把整本都丢给模型抽取，而是按幕或者按集切分后分段抽取，再用一个合并脚本把多段结果合并，对同名的角色做去重。长文本一次性处理时，模型丢失前文信息的情况会明显增多。

3. 角色与场景资产管理：一致性是AI漫剧的生命线

3.1 角色一致性的三种主流方案

做AI漫剧的人应该都有过这种崩溃瞬间：第一集里主角还是黑色长发，第三集画面里突然变成了棕色短发，这就是角色一致性没做好，也是AI漫剧最容易翻车的坑。

目前主流的角色一致性控制方案有三条路，我按实际使用频率排序介绍。

第一种是训练角色LoRA。先准备20到30张角色设定图，最好是同一个角色的不同角度、不同表情、不同服装的图片，然后基于Stable Diffusion训练一个专用LoRA。训练完成后，在生成提示词里带上这个LoRA的触发词，就能稳定输出该角色的形象。LoRA方案的稳定性最高，但前期准备成本也最高，而且角色形象一旦有细微调整，可能就要重新训练。

第二种是参考图方案，典型实现是IP-Adapter或者InstantID这类工具。只需要准备一张或多张角色参考图，在生成时把参考图作为输入条件，让模型在参考角色形象的基础上继续生成。这个方案的优点是灵活，不需要训练，换一张参考图就能调整角色形象；缺点是稳定性不如LoRA，角度变化大或者服装变了的时候容易跑偏。

第三种是固定角色种子加详细描述词。用同一个种子值配合固定描述词去生成，属于“赌博式”方案，偶尔能出几张一致的图，但批量生产时完全不建议依赖它。

我目前的落地组合是：核心角色提前训练LoRA，次要角色用IP-Adapter参考图方案，生成时同时固定种子值，配合ControlNet锁姿态，一套组合下来一致率能控制在九成以上。

3.2 场景资产的搭建与复用

场景资产比角色资产简单，但也有自己的坑。很多人对场景的理解是一张背景大图，但在AI漫剧的实际生产里，同一个场景会在不同景别下出现很多次，如果只生成一张图然后靠裁剪，画面粗糙感会非常明显。

更好的做法是按照景别分层准备场景资产：全景场景图负责交代环境，中景场景图负责展示人物的活动空间，近景场景图只需要突出关键物件和氛围。举个例子，“主角工作的咖啡馆”这个场景，可以准备一张展示整体布局的全景图、一张吧台区域的中景图、一张靠窗座位的近景图。分镜时根据镜头需要引用对应层级的场景资产，画面质感会显著提升。

场景资产还有一个容易被忽视的点是“氛围版本”。同一家咖啡馆，白天和夜晚的氛围完全不同，可以通过用ControlNet配合不同提示词，基于基础场景图生成多个光照版本。一个场景做三四个氛围版本，整部剧的场景复用率就会非常高。

3.3 资产库的命名与版本管理

资产管理好不好用，有一半取决于命名规范。资产一多，命名混乱会直接拖垮生产效率。我自己的命名规范是“项目代号_资产类型_名称_版本”，比如：

AgentCineCase_C_Feifei_V01 AgentCineCase_S_CafeInterior_Day_V02 AgentCineCase_P_RedCoat_Lora_V03

这里面C代表角色、S代表场景、P代表提示词资产。每个资产文件都附带一个同名JSON文件，记录资产的生成参数、描述词、对应LoRA信息。这样即使过了一个月再回来做第二季，也不会对着文件名想不起来当初是怎么生成的。

版本管理方面，角色形象迭代是必然发生的，旧版本不要删除，而是在文件名上打V01、V02、V03标记。因为初稿阶段画出来的角色可能后来发现气质不对，但后续某场戏可能又需要用回旧形象，保留历史版本可以随时回退。

4. 分镜、配音与视频生成：核心环节实现

4.1 分镜设计：镜头语言的落地

分镜是连接“文字想法”和“视觉画面”的关键节点。很多AI漫剧新人容易犯的错误，是分镜表只写“画面描述”，完全不考虑镜头语言，结果生成出来的视频像幻灯片一样一帧一帧硬切，完全没有剧的情感节奏。

一个合格的分镜条目，我觉得至少应该包含这些字段：镜号、场景ID、景别（远景/全景/中景/近景/特写）、镜头运动方式（固定/推/拉/摇/移）、画面描述、角色及表情状态、对白内容、音频提示、预估时长。

给大家一个我实际用过的分镜表示例：

景别和镜头运动的组合，直接决定了视频生成参数怎么写。“缓慢推进”对应的是图生视频时的镜头运动强度，“中景固定”意味着画面主体基本不动，只有细微动态。这些参数在进入视频生成环节时会直接影响出片效果，所以分镜表里写清楚远比模糊的“这个镜头要好看”有用。

4.2 配音方案：音色一致与情绪对齐

配音是AI漫剧质感提升最快的一环，但也是翻车重灾区。最典型的翻车场景是每集音色不一样，甚至同一集里对话的两个角色用的是同一个音色，观众一听就穿帮。

当前TTS工具的选择非常丰富，开源阵营里有GPT-SoVITS、CosyVoice、IndexTTS，商业工具里有ElevenLabs、Azure AI Speech，还有各种国内厂商的TTS接口。如果是中文漫剧，我建议优先考虑支持中文长文本和情感控制的模型，中文语境下的表现力比通用英文模型要好得多。

音色一致性方面，目前最靠谱的还是基于少量参考音频做音色克隆。一般在录制或者选择参考音频时，至少要准备三段不同情绪的同一条语音（比如平静状态、激动状态、低声说话状态），这样克隆出来的音色在表达不同情绪时才不会失真。参考音频的清晰度非常关键，底噪过大直接导致克隆音色发闷。

情绪对齐是配音的另一个核心点。分镜表里标注了每句对白的情绪标签，配音时要把情绪标签转成TTS参数，比如语速、音调、情感类别。有些工具支持情感预设，有些不支持，如果不支持，就得通过调整语速和停顿来实现情绪变化。愤怒的台词语速要快一点、音调高一些；悲伤的台词语速放缓、适当增加句间停顿。这些细节比换一个音色模型更管用。

4.3 视频生成：图生视频的实操要点

视频生成是整条流水线的最后一步，也是最考验硬件和耐心的一步。目前主流的生成策略大致分两种：一种是直接文生视频，也就是只给文字提示词让模型生成画面；另一种是图生视频，先确定起始帧（和可选的结束帧），再让模型生成两帧之间的运动。

做AI漫剧，我的建议是锚定图生视频路线。原因也很直接：漫剧对角色和场景的还原度要求高，文生视频的第一次出图往往不可控，而图生视频可以直接把资产库里已经确定好的角色图像作为起始帧，画面主体的一致性就有了保障。

图生视频的工具选择很广，开源生态里的AnimateDiff、Stable Video Diffusion，以及可灵、即梦、Runway这类在线服务，都是目前可用的选择。我的经验是，生成参数里最需要关注的是两个：帧数和运动强度。帧数决定了单次生成片段的时长，运动强度决定了画面的动态幅度。运动强度设置得过大会导致人物面部崩坏，设置得过小画面又会像PPT。一般漫剧对白场景，运动强度设在0.4到0.6之间比较合适；动作戏可以适当上调，但最好分段多生成几条再选。

另外，真正的短剧出片不是一口气生成完整视频，而是按照分镜表逐镜头生成短片段，每个镜头生成3到10秒，然后进剪辑软件拼接。这样做的原因有两个：一是生成模型的单次生成时长有限，超出后画面质量严重退化；二是按镜头生成可以单镜头重试，某个镜头效果不好只需要重新生成这一条，不用整段推倒重来。

5. 实操记录：从0到1跑通一部3分钟AI漫剧

5.1 环境准备与工具链选择

纸上谈兵没用，我自己实际跑通一部3分钟AI漫剧的过程大约是下面这个样子，大家可以直接照着做参考。

先说硬件。视频生成是吃显存的大户，我自己的主力机器是NVIDIA RTX 4090 24G显存，跑AnimateDiff生成512分辨率的16帧片段压力不大。如果只有12G显存，建议先用分布式跑或者降低分辨率、减少帧数，不建议直接上1080p长片段生成，会爆显存。没有高端显卡的人也不用气馁，可以用在线视频生成服务替代本地推理。

软件栈方面，ComfyUI是我目前的主力，配合Stable Diffusion系列模型，以及各类插件（参考图、姿态控制、视频生成全套），基本能满足从出图到出视频的全部需求。另外还需要FFmpeg做素材的格式转换和音频合成，剪映或者Premiere做最终剪辑。

5.2 全流程实操步骤

完整跑一遍大概是这样的流程：

第一步，准备剧本。这一步不需要太长，3分钟漫剧的剧本大约600到800字就够。

第二步，跑文本分析。把剧本喂给大模型，拿到结构化JSON，人工检查角色表和场景表的正确性。

第三步，生成角色资产。根据角色外貌关键词生成角色设定图，挑出能代表角色形象的正脸、侧脸、全身图各一张。然后用这些图训练LoRA，核心角色训练约20到30个epoch。

第四步，生成场景资产。根据场景描述生成全景、中景、近景不同层级的场景底图，生成几个不同氛围版本。

第五步，制作分镜表。把剧本拆成12到15个镜头，填好景别、运动方式、画面描述、配音文本。

第六步，生成配音。把分镜表中的对白文本批量交给TTS，生成每个镜头对应的音频文件，按镜号命名。

第七步，图生视频。在ComfyUI里搭好工作流，加载角色LoRA和场景底图，按分镜表逐镜头生成视频片段，每个镜头生成2到3条候选，挑效果最好的。

第八步，剪辑合成。按分镜表顺序把视频片段拖进剪辑软件，对齐音频轨，加转场、字幕、背景音乐，导出成片。

5.3 算一笔账：时间与资源估算

3分钟漫剧，12到15个镜头，在一切顺利的情况下，我的实测耗时大约是：

合计下来，最快也要11到13小时才能产出一部3分钟的AI漫剧。这还只是单集，如果能稳定复用角色资产和场景资产，第二集开始可以压缩到6到8小时。一周更新两集是可行的，前提是流程跑顺了。

6. 常见问题与排查技巧实录

6.1 角色形象前后不一致

这个是最多人踩的坑。排查时先确认一点：生成画面时有没有正确加载角色的LoRA或者参考图。很多时候不是模型问题，是ComfyUI工作流里LoRA节点没有连上，或者参考图权重设置得太低。如果LoRA加载没问题，再看触发词有没有写对，LoRA训练时设置的触发词必须出现在提示词里，而且建议放在靠前的位置。权重方面，LoRA权重在0.7到0.9之间比较安全，太低特征不明显，太高则会过拟合产生画面脏噪点。

6.2 画面文字乱码

AI漫剧里经常出现招牌、书籍封面、手机屏幕这类含文字的物件，生成结果往往是乱码。应对方案有两个：一是分镜时尽量避免让画面出现显眼文字，在画面描述里直接写“无文字的店铺招牌”“模糊的书名”，让模型回避；二是单独生成纯文字素材，再用蒙版合成到画面上，比如用PS做出干净的店铺招牌，叠在生成好的场景图上。对于成品要求高的项目，第二种方案几乎是必须的。

6.3 显存不足与卡顿

生成视频时爆显存是家常便饭。最简单的解法是降分辨率，把512×768降到512×512，或者把16帧降到12帧。还有一个容易被忽略的技巧是关闭多余的前后台程序，释放剩余显存，我实测清理浏览器后能多释放1到2G显存。设置里也可以打开内存加速选项，用内存换显存，但速度会明显变慢。在线服务就没有这个烦恼，但控制精度的天花板比本地低一截。

6.4 配音对不上画面

配音和画面对不上，通常是对白时长和镜头时长不匹配导致的。分镜表里写的5秒镜头，配音文件实际有8秒，最后只能硬剪，结果情绪节奏全乱。我的做法是配音生成后先回填到分镜表，把“预估时长”更新为“音频实际时长”，再根据音频时长反向微调镜头画面，必要时一个镜头拆成两个，或者在画面里增加空镜头来填补时长。声音主导画面，这个顺序不能反。

6.5 常见问题速查表

最后分享一点我自己的体会。AI漫剧工作台这类工具，本质上是在帮创作者建立一个可复用的内容生产基础设施，这意味着前期的资产整理和流程搭建会占用不少时间，但这个东西是复利的——第一集做完，后面的每一集都在吃前面积累的资产和流程红利。如果只是抱着“试试看”的心态做一集，那用不用AgentCine区别不大，手工串联也能凑合；但如果你打算把一个系列持续做下去，或者几个项目并行推进，工作台带来的确定性远比操作上的学习成本值钱。我自己踩过最深的坑就是跳过文本结构化直接画图，结果返工成本远高于前期好好做解析的投入。先让流程跑通，再在跑通的基础上优化单点效果，这个顺序建议大家都试一试。

本文还有配套的精品资源，点击获取