第二部AIGC电影比第一部难在哪?答案可能和你想的不一样:不是更难“生成”,而是更难“收住”。第一部做某个短片时,什么新鲜拍什么,AI给什么看什么,最后剪出来像一堆视觉素材的连环画。到了第二部《归义军》,我把工作方式整个调了个个——把它当成剧组管理来做:每天开场不是“让AI生成一段好看的”,而是“这个镜头的角色、光线、动作参考、声音素材是否已经齐了”。等跑完全流程我才意识到,AIGC电影的门槛根本不在工具,而在系统。
这篇文章就是把《归义军》的制作幕后拆开给你看:从题材设定怎么和AI能力对齐、角色一致性怎么保、分镜和声音怎么排,到预算、算力和那些必须绕开的坑。内容里会用到不少实际参数、流程和踩坑经验,适合正在用图像生成和视频生成模型做短片或长片项目的人参考。如果你还处在“用AI生成单张惊艳图”的阶段,也可以提前看看后面这些坑长什么样。
1. 拿到《归义军》时,我先做的是“抵制历史考据”
很多朋友听说我要做《归义军》,第一反应是问我怎么还原历史细节:甲胄制式、官职体系、地名沿革……我一开始也有这个冲动,但很快就改了方向:不做严格考据,做“可辨识的历史感”。理由很直接:AIGC模型的强项是风格联想和氛围渲染,弱项是精确复现。与其在服饰细节上被模型反复打脸,不如主动把片子设定成一个架空的中古边地故事,让观众感受到“边塞、守军、大漠、归乡”这些意象就够了。
1.1 题材选择:为什么“边地守军”天生适合AI生成
《归义军》这个片名里带着一股很明确的“守”和“归”的气质。我把整个视觉系统收敛到西北边陲:黄土、烽燧、旧旌旗、皮甲、横刀、马匹、干涸河道、风蚀地貌。这种题材对AIGC来说非常友好,原因有三个。
第一,模型对这类东方古典意象的训练素材足够充足,容易形成统一的风格锚点。你写“边塞”“烽火台”“大漠黄昏”,生成结果通常不会太离谱,反而写“现代都市客厅”很容易在材质和透视上翻车。第二,环境本身自带“滤镜”:黄昏和沙尘暴会压掉多余色彩,让画面集中在土黄、赭石、暖橙、暗影这几个色系里,天然擅长掩盖模型在色彩一致性上的毛病。第三,演员脸不需要“精致好看”,沧桑和粗粝反而是加分项。主角是一个被风沙磨过十几年的老兵,AI偶尔把皮肤纹理处理得过分一点,观众会认为那是岁月痕迹,但如果你拍现代都市爱情片,眼角多一条皱纹就会被骂。
第二部的核心目标也随之确定:用“守军”这个高度符号化的设定,把偶尔失控的AI生成结果兜住。我相信无论底层模型怎么换,这套视觉语义都能稳定承载故事。
1.2 第二部升级的重点:从“每段好看”到“全片可控”
第一部最大的问题,是“单镜惊艳,整体塌方”。每个镜头单独拿出来都像壁纸,连成一部片子却觉得哪里都不对:主角的脸一会儿年轻一会儿衰老,白天和黑夜随机跳,上一个小镇还是石砌城墙,下一个镜头城墙就变成了夯土堆。
所以第二部从头就在做三件事:角色一致性、场景连续性、声音资产完整性。我管的不是一个“生成任务”,而是一条“资产管线”。
具体做法是先建资产库,再动镜头。角色资产库包括基准图、多角度参考图、表情变化图;场景资产库包括同一地点不同时段、不同机位的参考图;道具资产库则是军旗、配刀、水囊、马具这些重要物件。每个镜头开始生成之前,先问自己:“这张图里出现的所有东西,在我资产库里有没有原型?”如果没有,就先补资产,不急着生成视频。这个过程很枯燥,但到后期剪辑时,你会发现自己省下了大量返工时间。
我把它叫作“资产驱动”的制作方式,而不是“灵感驱动”。灵感驱动适合做实验片和VJ素材,不适合做带剧情的电影。你需要在第二部里把导演思维前置——先确定全景,再去雕刻局部。
2. 全流程拆解:一个镜头是怎么被“押送”到成片的
AIGC电影的全流程,听起来很高大上,实际上可以拆成六个环节:剧本拆解、角色资产、分镜设计、视频生成、声音制作、后期定剪。下面我按实际踩过的顺序逐个讲。
2.1 剧本拆解成场景卡片,AI才能“接单”
剧本刚写完的时候,我尝试过直接从段落文字生成镜头,结果惨不忍睹。模型根本分不清哪句话是核心动作,哪句话是环境描写,哪句话是人物心理。后来我改成“场景卡片”的工作方式:把每个戏拆成一张卡片,每张卡片只记录七个以内的关键信息。
举个例子,第二幕第一场我做成这样的表格:
| 字段 | 内容示例 |
|---|---|
| 场景ID | 04-烽燧前空地 |
| 时间/光线 | 黄昏,风沙渐起,低角度侧光,偏土黄 |
| 角色 | 老兵(左侧),军师(右侧前景) |
| 镜头内容 | 老兵望向北方,军师向前一步,递水囊 |
| 情绪 | 疲惫、沉默、克制 |
| 动态关键词 | 手势缓慢,衣袍被风掀起,尘土沿地面滚动 |
| 声音素材 | 风声、布料声、远处驼铃、低音弦乐 |
卡片的作用是把模棱两可的文学描述,翻译成模型能理解的“有限状态”。模型对信息的容纳度是有限的,如果你把几十个意象塞进一个prompt,结果往往互相吞没。精简反而能让每个词都获得足够权重。另外,场景卡片也是后面所有声音素材、剪辑节奏、调色方向的唯一来源,跨环节沟通时不会出现“我以为”的情况。
2.2 角色资产库:先摆脱“每张脸都不一样”的魔咒
在做视频生成之前,必须先把角色固定下来。我的方法分三层。
第一层是“形象基准图”。用图像生成模型分别产出正脸、侧脸、背脸、半侧脸、低头、抬头等十余个角度的角色图。这个阶段不追求动感,只追求“同一个人换角度”的稳定感。第二层是用这些基准图训练一个小规模LoRA。LoRA的目标不是让模型100%复刻某张脸,而是让模型记住“这个角色的骨相和质感”。我用30到40张图做数据集,分辨率统一到1024,训练步数控制在1500到2000。这里有个经验:步数太少,角色记不住;步数太多,角色会开始“僵住”,生成任何动作都只有一个表情。学习率方面,从0.0001到0.0002之间起步,观察loss曲线的回落情况再微调。第三层是描述短语固化。每次生成角色时,从不更改核心描述,比如“the weathered commander, grey-streaked hair, leather armor with brass rivets, scar across left brow”。哪怕你在同一个镜头里换角度,也要保持这段短语不变,否则模型会以为你换了一个人。
三层保险叠在一起,才勉强做到在跨15个镜头、不同机位和不同动作下,观众还能认出主角。单靠其中任何一层都不够,特别是只靠prompt的话,主角大概率会变成“同一发型但不同人”。
2.3 分镜与镜头设计:提示词不是“写作文”,是“填表格”
到了分镜阶段,我养成了一个习惯:把提示词当成“填空”来写。一个合格的分镜提示词应当包含主体、动作、构图、焦距、光线、材质、氛围、风格八个维度。少一个维度,后续就要多花几次生成来碰运气。
比如《归义军》里一个标志性镜头,我使用的提示词结构大致是:
cinematic shot, a weathered old soldier in leather armor stands under a ruined beacon tower, facing the vast desert at dusk, dust particles drifting in the air, warm low-key sunlight from the left, hero framing, 50mm lens, shallow depth of field, muted umber palette, photorealistic but textured, film grain注意几个点:动作只写“stand facing”,没有写复杂的“转身+持刀+抬头+叹口气”。生成模型并不擅长连续动作,你给得越具体,它越容易把画面搞成一团浆糊。另外光线方向必须写明“from the left”,这样后续镜头才能统一。负面提示词也要长期固定,我一般会写“avoid modern artifacts, avoid extra fingers, avoid warped armor, avoid text/watermark, avoid over-sharpening”。
分镜设计上,不要设计“万米长镜头”,尽量让每个镜头只承担一个动作节奏。一个镜头只做“转身”,一个镜头只做“拔刀”,一个镜头只做“抬头”。连续动作靠剪辑生成,不靠模型生成。
2.4 视频生成层:“狙击式投料”而不是“扫射式生成”
视频生成是最容易让人上瘾也最浪费钱的阶段。我习惯把生成分成四个阶段,刻意限制自己的动作。
第一阶段是“草案式投料”:直接用文生视频跑出几个版本,用来判断构图方向对不对,动作有没有出现鬼畜。这个阶段只用极短的分镜提示词,不给参考图。第二阶段是“锁定结构”:把最满意的静态图作为首帧,生成5到8个候选视频,考察两个维度——画面是否忠于首帧、动作是否在可控范围内。第三阶段是“终版狙击”:从候选里挑出最接近需求的一两个,用“首帧+尾帧”的方式重新生成一次。首帧固定角色姿态、尾帧固定目标动作,中间由模型补完,这是目前控制动作幅度比较靠谱的办法。第四阶段才是后期修复和超分。
这套流程的核心逻辑是“不要期待一次成片”。视频生成更像在一堆草丛里找可用的枝条,而不是让草丛一次长成你要的形状。你越早接受这个设定,就越不容易生气。另外,我个人会强制自己在一天内最多生成固定数量的镜头,防止陷入“再试一次,下一把肯定更好”的循环。那种循环既烧预算,又不会在片子里留下任何有效素材。
2.5 声音先行:第二部才真正重视的图层
第一部最惨痛的教训,是声音做太晚。画面全部定稿后才发现配音对不上口型、音效和剪辑点错位,最后只能用“硬切换”遮遮掩掩。第二部我换了思路:声音先行。
写场景卡片的时候,我就把环境音、对白、音乐情绪一并标注。配音方面,用AI语音合成先把整片对白跑出一个“临时轨”,长度和停顿都固定下来;后续生成视频时,我会尽量为角色设计“少说话、多沉默”的状态,既符合人物气质,也避免AI口型容易崩的问题。音乐方面,用AI音乐生成器先产出几个短motif,确定主旋律,然后让这个旋律在不同场景里以不同配器反复出现。这样整部片子的听觉记忆才立得住。
环境音也是资产的一部分。风声、旗帜翻动声、马蹄踏过碎石的声音、远处驼铃……这些我在生成画面时就已经同步找好。剪辑时不用再去素材库翻大海,直接按场景ID调用。声音和画面如果足够统一,观众对AI画面瑕疵的容忍度会高很多,因为“氛围感”很大程度上来自耳朵。
2.6 剪辑、调色和超分:AI素材的“气质统一工程”
AI生成的素材天生存在规格混乱的问题:有的帧率是24,有的是30,有的分辨率是1280乘720,有的是“宽银幕裁切”。直接扔进剪辑软件,会不断遇到音画不同步和预览卡顿。我的处理是先把素材转成统一的工作规格:30fps、同分辨率、H.264或ProRes中间格式。不要反复转码,转一次到中间格式就够了。
调色是第一部和第二部区别最大的地方。这次我先从所有镜头里选出一个“色彩锚定帧”——通常是黄昏在烽燧下的大全景,然后用剪辑软件里的色彩匹配功能,让其他素材向它靠拢。色温以锚定帧为准,整体控制在暖色区间,高光稍微压暗,阴影往棕褐走一点。不要做过于激进的颜色风格化,因为AI素材本身的色阶断层问题比实拍严重,强拉曲线容易出现色带。
超分也不是万能的。模型原生画质不够好的时候,强行放大到4K会出现皮肤纹理发虚、图案边缘扭曲等问题。我的习惯是先做轻度超分,再加低强度噪点/胶片颗粒,让画面看起来有质感,而不是“手机自动增强”的锐化感。记住一个原则:观众更在意整体风格统一,而不是每一帧的锐度。
3. 三个最难的洞:角色同一性、光影延续、群体调度
做完整部第二部,最值得拿出来说的三个难点,每个都足够让项目重做一遍。
3.1 角色同一性:参考图、LoRA、关键词三重保险
这个问题我在前面已经提过,但值得展开讲一下实操中的细节。
参考图是“骨架”。视频生成平台基本都支持通过首帧来锁定角色外观。我会把角色基准图作为首帧的一部分,告诉模型“你接下来生成的动作,必须从这个人的样子长出来”。只要你不动首帧里的主体,模型一般不会太过分地改变五官。但如果首帧里角色很小、背对镜头,模型就可能自由发挥,把回头后的脸变成另一张脸。所以人脸特写镜头尽量保持首帧脸部信息充足。
LoRA是“肌肉记忆”。有了LoRA,角色在不同机位、不同光照下会保留同样的骨相特征。训练LoRA时,我会特意混入几张脸部侧面、低头、闭眼、皱眉的图,确保模型学会的是“同一人的不同状态”,而不是“一张证件照的复制粘贴”。权重如果太高,角色确实像,但动作和表情会变得僵。权重太低,又容易被通用模型的“脸库”带跑。我的建议是先从0.7到0.8开始测试,观察中期结果再微调。
关键词是“记忆锚点”。每次生成都保持同一段角色描述,不管是全景、中景还是特写。这个锚点可以防止LoRA在极端光照下失效。三重保险生效时,观众不会注意到“主角是同一个人”,但这正是成功;一旦失效,整场戏都会弥漫着“这是谁”的疑惑。
3.2 光影延续:跨镜头的“光照胶囊”
第二部有一个反复出现的场景,烽燧前的空地。我在最初几天生成了一批素材,光色很正常。到后期补拍某几个镜头时,生成结果突然偏冷偏紫,和前面的暖黄调子完全不是一个世界。后来我意识到,不同批次的生成,哪怕prompt一样,也可能因为平台负载、模型微调等因素发生色温漂移。
解决方案是做一个“光照胶囊”:选出三张包含核心场景、核心角色、不同角度的参考图,作为整个场景的光照基准。每次生成镜头前,把当前要用的光线方向、色温和参考图一起喂给模型。后期阶段再用色彩匹配统一。更重要的是,我在日程上把“同一场景的素材”集中在一到两天内生成完,而不是今天生成几个镜头,下周再补几个。集中生成会让画面风格、角色状态、色温漂移都小很多。
接到这类历史氛围片,你还要考虑自然光的“可信时间线”。初始设定写“黄昏”,那么后面的剧情最好不要横跳去拍“正午”。所以《归义军》的绝大多数内景外景都安排在同一个时间窗口:黄昏到入夜。一方面光线本身就富有戏剧性,另一方面也让模型长记性,不需要反复切换光照体系。
3.3 打斗和群众戏:绕开模型死穴的调度方案
打斗、群体、复杂动作,这三样凑在一起几乎是AIGC模型的死穴。模型在处理多人交错、肢体重叠、连续挥舞时,经常出现手腕扭曲、武器变形、人物“穿模”的问题。我的处理思路很简单:让模型做它擅长的事,把复杂的事情拆给镜头。
第一,打斗戏绝不设计全景连续长镜头。《归义军》里有一场“老兵夺刀突围”的戏,我拆成了八个短镜头:握刀的特写、敌人踉跄退半步、老兵侧身挥出、刀锋划过画面、衣甲抖动、尘土从地面扬开、远处敌骑勒马、风沙盖住画面。没有一个镜头超过三秒,没有一个镜头需要模型表演完整动作。第二,群体戏用“逆光剪影”和“尘土烟雾”来伪装细节。你不必让模型生成十个面部清晰的人,只需让它在漫天沙尘里生成模糊的轮廓,观众自然脑补出乌泱泱的敌群。第三,同场景人物尽可能分开生成,后期通过剪辑节奏让观众觉得他们在同一空间。
这个思路的本质,是把视觉信息量藏进剪辑里。观众看到的是“完整的打斗段落”,实际上每个镜头都只是局部的脉冲切入。动作的连续性由心理完型补上,而不是由模型真的“打”出来。对我来说,AIGC电影最重要的技巧,不是让AI生成得更复杂,而是让你作为导演更会“藏拙”。
4. 现场踩坑实录:这5个问题我再也不想遇到
每个AIGC项目都有自己独特的滑铁卢。下面这五个问题,是我做《归义军》时真实遇到并且解决掉的,值得抄进你自己的项目手册。
4.1 模型版本升级带来的“主角整容”
做到一半,我使用的视频生成平台悄悄升级了底层模型。结果同一个prompt生成出来的主角,突然从一个四十岁、满脸风霜的守军将领,变成了皮肤光滑、发型精致的偶像剧男主。我当时还以为是自己prompt写错,反复排查了半小时才发现是模型变了。
此后我定下一条铁律:项目期间锁定模型版本,不轻易升级。如果平台不允许锁定版本,就只把升级前已经合格的素材作为首帧,让后续生成沿着首帧的人物外观走。另外,每次升级后先跑一组“渲染对比测试”:用同一段角色基准图和同一段prompt生成两三帧,和旧版本结果比对。确认没有出现角色“换头”再继续投入生产。这条流程看起来多花半小时,实际能省下未来几天的返工。
4.2 “生成一时爽,转码火葬场”
视频生成模型输出的视频文件往往不是剪辑友好的格式,帧率、码率、色彩空间都不统一。我一开始直接把一堆素材拖进剪辑软件,结果预览窗口卡成PPT,导出的成片在不同输入设备上颜色也不一样。
后来我统一在收工前做一次“素材标准化”:全部转成30fps、统一分辨率、统一渲染格式。转码工具并不复杂,免费的ffmpeg命令行就可以批量处理。这里给个建议:转码时不要顺手“增强画质”,那会破坏原始画面细节,只做格式转换,保留尽可能多的原始信息。为降低风险,转码前把原始文件留一份,免得后续发现某段素材还有二次利用价值。
4.3 同一场景隔了太久,美术风格漂移
有个场景,我第一周生成了一版偏暖、偏“水墨质感”的版本,觉得很不错;第三周想补一个镜头,发现模型生成出来的是“浓艳厚涂”质感,连城墙砖缝都变得比之前清晰十倍。这就是风格漂移。
我后来给每个重要场景做了一张“场景护照”卡片:场景描述、色彩基调、常用负面词、构图参考、特殊道具、光线基线。在每次生成前,先对照护照确认没有遗漏,再开始工作。如果发现某个词已经无法把风格拉回来,就把护照里记录的参考图直接作为风格参考输入。可能的话,所有同场景镜头在一轮工作周期内完成,时间跨度越小,风格漂移越少。这些都是最朴素的项目管理方法,但在AIGC工作流里意外地有效。
4.4 盲目追求4K,输出质量反而更差
很多模型的原生分辨率并没有达到4K,强行超分后会出现“边缘虫爬”和“纹理发虚”。最初我很迷信“输出规格越高越好”,结果一放大画面,老兵的皮甲边缘出现了一圈一圈的伪影,军旗上的纹路像浸了水的毛边纸。观众可能不会注意你素材是1080p,但一定能在三秒内察觉画面过于“塑料”。
正确做法是分步处理:先看原生素材的实际分辨率,能到1080p且画面锐利就保留1080p;如果确实需要放大到2K或4K,就做“轻度超分+颗粒恢复”,不要过度锐化。另外在AI生成阶段,与其执着高分辨率,不如调整提示词,强调“textured, film grain, moderately lit”。低分辨率的素材配上颗粒,视觉上会比“数字锐化”舒服很多。
4.5 素材管理混乱,后期找不到镜头
第一部我经常出现这种情况:硬盘里躺着几百个生成的视频文件,后缀是时间戳和乱码,根本不知道哪个对应哪个镜头。到了后期找素材,只能一个个点开预览,效率低到怀疑人生。
第二部我彻底改变了文件命名方式。每个成片素材都按“场景ID_镜头号_内容简述_版本_状态.mp4”命名,例如“sc04_beacon_oldman_v2_ok.mp4”。另外,我会维护一个极简表格,记录文件路径、镜头号、使用状态、是否过期。每天收工前必须清理当天的失败素材,把明显崩坏的直接丢进回收站,不让它们继续污染视线。
这套“土办法”其实才是AIGC电影制作里最重要的基础。因为生成素材的数量级远高于实拍素材,如果没有命名规范,你就是坐在一座垃圾山里找金子。项目管理工具不一定多高级,一张电子表格加严格命名足够撑起一整条片子。
5. 预算、算力与执行力:AIGC电影到底要多少成本
很多人以为AIGC电影是“低成本爽法”,实际上更准确的表述是“低成本起步,高成本试错”。真正花钱和个人时间的地方,往往不是你想象的那一步。
5.1 单镜头成本:不是“生成一次”而是“选一次”
你看到的最终镜头,背后通常有十几次甚至几十次生成。视频生成是按次计数的,所以单个镜头的成本公式其实是:单次生成成本 × 尝试次数 + 后期处理时间费用。
举一个《归义军》里的普通中景镜头为例:我先生成6个草案用于选构图,再选2个候选人进行首尾帧锁定结构,再对其中一个做风格微调和超分。整个过程大概消耗了10到15次生成,视不同平台单价而定,单个镜头可能从几元到几十元不等。如果你追求极致,一个镜头烧掉上百元也很正常,尤其是动作复杂、环境变化大的段落。
我的建议是:预算上按“最终成片时长的每分钟成本”做规划,并且预留1.5倍缓冲。因为没有人能准确预测自己会在哪个镜头上“上头”。你越是带着“再试一次”的心态,每个镜头的实际成本越可能失控。
5.2 没有顶级显卡也能推进流程吗?
很多朋友一开始就问“我没有4090,能不能做AIGC电影”。我的答案是完全可以。当今的主流图像生成和视频生成,大部分可以在在线平台或云端完成,真正吃本地算力的往往只是LoRA训练、超分放大、复杂后期渲染这类环节。
《归义军》的主力生产基本都在在线平台,本地环境只负责处理两件事:一是用开源模型做局部素材的辅助修补,二是用剪辑软件完成最终成片的裁剪调色。即便是普通游戏本的显卡,跑剪辑预览和轻度超分也够用。卡住的不是硬件,而是“你对工作流的设计”:如果把任务规划成大量本地渲染,自然会被算力限制;如果能提前判断哪些环节必须在线完成、哪些环节可以后期处理,算力瓶颈就没有想象中严重。
如果你想尝试在本地训练LoRA,一张大显存显卡确实方便,但并不强制。很多平台提供在线训练能力,只是你需要注意生成素材的版权条款和使用范围。总之,先跑通一条最小可用流程,再考虑堆硬件。
5.3 怎么在有限资源里完成一部可信的成片
如果非得给后来者提一个具体的资源配置方案,我的经验是这样:成片长度控制在8到12分钟,核心场景控制在2到3个,重要角色控制在3到4个。这样做不是为了偷懒,而是因为每个新增场景和角色,都必须支付“资产库+一致性+风格统一”的隐形成本。
时间分配上,我曾以为视频生成会占大头,实际上它只占约三成。真正的大头是前期资产准备和后期的声音、调色、剪辑。你别指望“先随便生成一堆镜头,最后再想怎么剪”。成片能否成立,在场景卡片阶段就基本决定了。
我自己在《归义军》里用过的一个非常有效的办法,是先剪一个90秒的“试剪片”:把核心镜头、临时配音、临时音乐、粗糙调色全部串起来。这个试剪片不必好看,它的意义是验证整条片子的信息链是否通顺、情绪节奏是否合理。试剪片通过后,所有后续生成都只是替换更高品质的镜头。这样既能避免资源浪费,也不会在错误方向上越走越远。
如果现在有人问我,做第二部AIGC电影最大的体会是什么,我会说:AIGC电影其实是一门“剪辑的艺术”,而不是“生成的艺术”。你花在系统设计、项目管理、素材规范上的时间,最后都会成倍地回到成片质量里。生成前的每一分克制,都会在剪辑台上获得回报。