Stable Diffusion角色一致性攻略：LoRA+参考图+固定Seed锁定同一张脸

用Stable Diffusion画人像，玩久了都会碰到同一个坎：同一段提示词，昨天生成的是温柔圆脸，今天变成高冷方脸，明天干脆换了个人。想给小说主角画固定立绘、做连载漫画角色、或者给自己原创IP出一组不同场景插画，结果每张图的脸都对不上，项目只能搁浅。

这篇文章不绕弯子，直接讲透“怎么让SD始终画同一个人”。我会先从问题根源拆起，再对比四种主流的角色锁定方案，最后给出一套我实测下来最稳的组合参数和完整实操流程，并把高频翻车现场整理成速查表。不论你是刚装上Stable Diffusion三天的新手，还是已经跟“角色一致性”搏斗过一轮的老手，照着做都能少走一半弯路。

1. 先搞懂“每次都换一张脸”的病根

1.1 扩散模型的随机性：从纯噪声开始，每次都是“重新抽签”

Stable Diffusion生成一张图，本质是一个“去噪”过程：从一张纯随机噪声图出发，在文字条件的引导下，经过几十步迭代，逐步把噪声变成清晰的图像。这个起始的随机噪声由Seed（随机种子）控制。固定Seed，相当于固定了出发位置；提示词相同、模型相同、参数相同，理论上可以复现同一张图。

但问题就在这里：生成路径对噪声极其敏感。你只是在提示词里多加了一个词，哪怕这个词跟角色无关，模型的注意力分布也会被整体打乱，去噪轨迹彻底改道。最后生成的脸，可能五官比例、脸型骨架全都变了。说得夸张一点，每次出图都像重新抽签，脸只是若干张“可能的脸”里被抽中的一张。

这也是为什么“固定Seed+固定提示词”看似简单，实际上很难支撑跨场景的角色一致性：你没法保证换一个场景描述后，模型还沿着原来的轨迹走。

1.2 提示词的表达极限：文字描述不了一张具体的脸

很多人会尝试用大段提示词描述五官，比如“窄脸、高鼻梁、薄嘴唇、眼角上挑”。这些词有没有用？有用，但非常有限。原因是：人类识别一张脸，靠的是五官之间的微米级相对关系，眼距差一点、下颌角宽一点、鼻梁高度差一点，看起来就是完全不同的人。而SD对文字的理解是语义级别的，它并不知道“窄脸”具体窄到什么程度，“高鼻梁”到底高几毫米。

打个比方：你给一位从没见过目标的画师发一段文字描述，让他画同一个角色三次，三次大概率画出三个人；只有你递给他一张参考照片，他才能每次都照着同一张脸画。SD也是这个道理——单靠文字，模型只能在你描述的方向附近随机脑补，每次脑补的结果都不同。

1.3 固定角色的本质：给模型装一个“记忆锚点”

把所有可行方案放一起看，本质只有三类思路：

• 把角色特征训练进模型，让它“记住这张脸”。典型方案是训练角色LoRA或做更重的模型微调。
• 生成时额外给一张参考图，让模型“看着画”。典型方案是IP-Adapter、ControlNet的Reference Only模式。
• 尽量让生成路径固定，减少随机波动。典型方案是固定Seed、固定提示词、固定采样器和CFG等全部参数。

这三类方案在“稳定性”和“自由度”上是互相权衡的。固定路径最稳但最死板，换个场景就失效；参考图约束灵活，但对参考图质量要求极高；训练LoRA最扎实，但需要你先准备训练素材。落到实际操作上，普通人最需要的是组合打法：用LoRA锚定五官特征，用参考图约束方向，用固定Seed减少变量，再用局部重绘兜底修脸。

2. 四种锁定方案，从轻到重怎么选

2.1 轻量路线：固定Seed和提示词，只适合单张复现

这应该算最省事的方案：随机抽到一张满意的图之后，把Seed固定下来，整段提示词原样保存，下次重新生成时就能得到几乎一样的脸。

操作上需要注意的是，不只是Seed和提示词，采样器、CFG Scale、分辨率、模型版本、甚至高分辨率修复的参数都会影响复现结果。我的建议是直接把出图参数存成PNG信息或文本预设，下次一键载入，不要手动复制粘贴，一旦漏掉一个参数，复现就会失败。

这条路线适合什么场景？适合只画单张头像、想微调表情或服装的简单需求。它没办法支撑“同一个角色出现在十个不同场景”这种项目，因为场景描述一改，角色就跟着漂移了。把它当成最底层的“复现工具”就好，不要当成“角色一致性方案”来依赖。

2.2 主力路线：角色LoRA，一张“专属记忆卡”

LoRA的全称是Low-Rank Adaptation，低秩适应。它做的事情是：冻结大模型的权重，只额外训练一小块增量模块，这块模块学会之后，就像给模型插了一张“角色专属记忆卡”。生成时激活它，模型在去噪的每一步都会额外收到一组“角色特征指令”，把五官比例拉到指定区间。

角色LoRA是目前做到“跨场景保持同一个人”最可靠的路线。它的优点在于权重可调：0.6左右的权重，角色特征明显但不会压过场景描述；权重拉到0.9以上，脸型会被死死锁住，但画面可能变僵硬。

获得LoRA有两个途径。一是下载社区现成的角色LoRA，注意看示例图是否“每一张都是同一张脸”，下载页通常会有二三十张效果展示，越统一越靠谱。二是自己训练定制LoRA，准备20到50张同一个角色的不同角度、不同光线、不同背景的照片，脸部在画面里占比尽量大一些。训练时的打标建议把特征无关的词去掉，统一一个触发词，生成时把触发词放在提示词靠前的位置。

补充一个我踩过的坑：同一个LoRA在不同底模下的表现天差地别。在某个写实底模上效果惊艳，换到另一个风格偏绘制的底模上可能直接失效。所以一旦定下角色方向，尽量固定底模，不要频繁切换。

2.3 进阶路线：IP-Adapter / Reference Only，拿参考图“看着画”

如果你不想训练LoRA，手头又恰好有一张满意的角色图，可以用参考图约束方案。它的原理是：生成时把参考图传给一个图像编码器，编码成条件向量，混入文字提示词一起引导去噪过程。简单说，就是给SD递了一张照片：“照着这张脸画。”

这套方案上手快，但上限受参考图质量限制。参考图必须是正脸清晰、光线均匀、脸部占比大的图；戴着墨镜、侧面遮挡、过度美颜滤镜的图都会明显削弱约束力。另一个常见问题是，模型不仅参考了脸，还会把参考图的构图、服装、色调一起抄过来，导致画面自由度下降。解决办法是把参考图裁剪到只剩脸部区域再上传，同时把权重控制在0.4到0.6之间，别贪高。

2.4 兜底路线：ControlNet加局部重绘，把崩掉的脸单独修好

ControlNet的作用是给生成过程注入结构条件。比如OpenPose能锁定人物姿态骨架，Canny或Lineart能锁定线稿构图，Depth能锁深度结构。它本身不负责“脸长得像”，但它能保证姿势和构图稳定，让变量更少。

局部重绘（Inpaint）则是专门用来修脸的：把崩掉的五官区域用蒙版遮住，让模型只重画这一块。配合角色LoRA，相当于“脸崩了就把脸单独重画成角色该有的样子”。修脸时蒙版边缘羽化要给到10到15像素，重绘幅度控制在0.35左右，太低修不干净，太高会把周围皮肤也重画了。

这里提醒一句：新手不要一上来就同时开一堆插件。先把“LoRA+参考图”组合跑通，不够再加ControlNet兜底，否则变量太多，出了问题根本排查不动。

3. 实操全流程：用组合拳稳定画出同一个角色

3.1 动手前的四样准备

第一步先确认四样东西都到位，缺一不可。

• 底模：确定画风方向。写实风格用写实底模，二次元风格用二次元底模。不要在同一个角色项目里频繁换底模，这会让LoRA表现不稳定。
• 角色LoRA：提前确认触发词是什么，权重给多少合适，最好先在单张图上验证过。
• 参考图：一张正脸清晰、光照均匀、脸部占比超过三分之一的图。参考图画风和底模越接近越好，用真人照片参考去画二次元角色，混合感会很难压住。
• 绘图界面：需要支持LoRA加载、ControlNet的Reference Only、局部重绘和高分辨率修复。主流Stable Diffusion绘图前端都有这些功能。

关于参考图画风，多说一句：我见过不少同学拿一张精修过的真人照片当参考，同时用二次元底模，结果生成的图脸型五官忽真忽假，怎么看怎么别扭。参考图的作用是提供“面部特征方向”，而不是提供“质感风格”，所以参考图最好和底模同属一个风格域。

3.2 一套实测稳定的初始参数表

下面这组参数是我自己在多个写实和半写实底模上跑出来最不容易翻车的组合，适合作为起始值，再根据具体角色微调。

为什么这几个参数特别关键？CFG Scale过高时，模型会被提示词“推得太用力”，细节锐化过度，皮肤质感像塑料，五官线条僵硬；CFG太低，角色特征又出不来。高分辨率修复的重绘幅度是最大的变脸杀手，很多人都栽在这：小图看着脸型正常，放大后重绘幅度一高，整张脸被重画了一遍。建议初始就锁死在0.4以内，宁可放大后稍糊一点，再用局部重绘修，也好过直接换脸。

3.3 完整示例：让同一个短发女生出现在三个场景

假设我要固定一个短发女生的形象，让她分别出现在海边、咖啡馆和夜晚街头三个场景。整个操作流程如下。

第一步，ControlNet里上传参考图，选用Reference Only模式，初始权重给0.5。注意上传前把参考图裁剪成脸部为主的区域，不要传全身照。

第二步，加载角色LoRA，权重设0.7。确认提示词里包含LoRA的触发词，并且放在靠前的位置。

第三步，固定一个Seed。随便抽一张能出图的Seed就行，关键是后面所有对比都基于同一个Seed，这样不同场景之间的差异不会被随机噪声放大。

第四步，写正向提示词。结构是“主体质量词 + 角色触发词 + 脸部细节词 + 场景词 + 光影词”：

masterpiece, best quality, 1girl, (角色触发词), short hair, detailed blue eyes, natural skin texture, [场景部分], cinematic lighting, high detail

负向提示词用常规的那一套就够：

lowres, bad anatomy, bad hands, extra fingers, blurry, jpeg artifacts, watermark

第五步，场景部分依次替换。海边写“beach, ocean, golden hour, summer dress, wind in hair”；咖啡馆写“cafe interior, warm sunlight, latte art, cozy sweater”；夜晚街头写“night street, neon lights, wet asphalt reflections, leather jacket”。

第六步，每个场景连续出4到6张，从中挑选脸部最接近参考图的那一张。这一步不要省，多抽几张的目的不是碰运气，而是给后处理提供“可选项”。SD的随机性决定了即使参数全相同，构图也不会完全一致，多抽相当于海选，成本很低，收益很高。

第七步，如果三张图的脸差异明显，先把Reference Only权重往0.6到0.7调一档，保持LoRA权重不变，重新出图；如果脸型开始雷同但表情僵硬，再把权重降回0.4。每次调整只动一个变量，不要同时改LoRA和参考权重，否则你不知道是哪个参数起的作用。

第八步，选定最终图后，进入后处理修脸环节。

3.4 出图后的三步修脸流程

后处理是我个人认为最容易拉开“老手和新手”差距的环节。同样一张图，新手直接出图就算完，老手会再做一遍局部重绘。

第一步，开高分辨率修复。放大倍数1.5到2，重绘幅度0.3到0.45。这能解决小图的大多数模糊问题，同时不让模型“借机换脸”。

第二步，如果放大后脸部细节还是不够，比如眼睛不够锐利、嘴唇发糊，就用局部重绘。具体做法：用画笔蒙版把脸部区域覆盖住，提示词里写“角色触发词 + detailed face, detailed eyes”，蒙版边缘羽化设12像素，重绘幅度0.35左右，重绘区域选“仅蒙版”。这样模型只重画蒙版里的脸，衣服和背景原样保留。

第三步，如果批量出图特别多，比如一次要出几十张，建议研究一下自动化面部细节重绘工具。这类工具会自动检测人脸框，并对脸部做局部重绘，可以大幅提升批量出图的效率和一致性。一两张图手动修就够了，但几十张图全靠手修，工作量会非常感人。

4. 高频翻车现场与排查心得

参数给得再全，实操也一定会有翻车的时候。下面这几种情况是我和身边朋友踩过最多次的坑，逐一拆开说。

4.1 翻车一：脸像了，构图却被参考图锁死

现象是：人物姿势、服装、甚至背景色调都和参考图很像，画面完全没有自由度。这通常是因为参考图上传的是整张图，模型不只参考了脸，把整张图的构图也抄了过去。

处置办法有三个，按优先级来：先把参考图裁剪到只剩脸部，让模型没有机会参考多余信息；然后把Reference Only权重从0.5降到0.3到0.4；如果还是锁死，就用ControlNet的OpenPose单独指定你想要的姿势。记住核心原则：把参考图当“脸模”用，不要当“整图模板”用。

4.2 翻车二：加了LoRA还是不像

加了LoRA但脸不对，先别急着怀疑LoRA质量差。按顺序排查下面四个原因：LoRA权重太低，建议从0.7起步试，不要用0.3、0.4这种试探值；LoRA底模不兼容，不同底模训练出的LoRA换到风格差异巨大的底模上会直接失效甚至崩坏；触发词漏写或被压到提示词最后，模型根本没有激活LoRA；参考图权重太高，把LoRA的特征“盖住”了。

我自己排查这类问题时有个习惯：先把参考图关掉只跑LoRA，确认单模块的稳定度；然后再开参考图叠加。先单测每个模块，再谈组合，能省下大量调参时间。

4.3 翻车三：表情、视角一变就崩

正脸很像，但转头、低头、侧脸就完全不像。原因是角色LoRA的训练数据里正脸样本太多，侧面和非常规角度太稀缺，模型只学会了“正脸特征集”，角度一变就不在训练分布内了。

解决办法是：换多角度参考图给模型更多引导；或者出图时先用固定角度批量出素材，不要硬挑战大角度；如果确实需要全角度覆盖，最彻底的方案还是回炉训练LoRA，训练数据里多放侧脸、低头、仰头样本。我的经验是，做IP项目时先出一个“正脸+3/4侧脸”的稳定素材库作为基底，再逐步扩展其他角度，比一上来就追求全角度自由要稳得多。

4.4 翻车四：同Seed同提示词却对不上

前几天生成过的图，今天原样复现，脸却对不上了。出现这种情况，优先检查五件事：提示词里是不是多了空格或标点；采样器、CFG、分辨率是不是被动过；高分辨率修复参数是否一致；模型文件有没有被重新加载时改了精度选项；面部细节重绘或修复类插件是否有版本更新。

这类问题最有效的预防办法是完整保存参数预设。把Seed、模型名、采样器、CFG、步数、分辨率、LoRA权重、参考图权重、高分辨率修复参数全部存成预设文件，下次复现直接载入，不要靠记忆和截图。

4.5 角色一致性排查速查表

整理成一张表，方便出问题的时候直接对号入座。

4.6 几条独家的避坑心得

最后分享几条从项目实战里沉淀下来的习惯，价值不比操作步骤低。

调参时坚持“一次只动一个变量”。很多人翻车之后，同时改了LoRA权重、参考权重、采样器和重绘幅度，结果根本不知道是哪一步导致的，等于白调。角色一致性调试最忌讳的就是“大混合式改动”，每次只动一个参数，跑两张图对比，效率反而最高。

参数记录要完整。Seed、模型、采样器、CFG、LoRA权重、参考权重、高分辨率修复参数，一个都不能少。我见过太多人只记录了Seed和提示词，复现时采样器变了，脸直接对不上，还以为是模型坏了。

优先保证脸，再抠构图。跨场景出图时，先保证脸像，构图方面只要别太离谱，后面用局部重绘修衣服、改背景都来得及；反过来，构图完美但脸不像，基本等于废图。顺序别搞反。

还有一条边界问题必须提：不要随便拿真实人物的照片去训练角色LoRA，更不要生成以真人身份出现的内容。真实人脸涉及肖像权和个人信息安全，一旦用于商业用途或会造成误导的方向，风险非常高。做原创虚拟角色，怎么玩都行；碰真人素材，一定要克制。

写这篇的时候我回想了一下自己最开始的弯路：当时迷信“把参考图权重拉到0.9就能锁死角色”，结果每张图的脸像戴了同一张面具，表情、角度全部僵住。后来才慢慢悟明白，角色一致性从来不是靠单个参数，而是靠一套组合拳——LoRA负责记住五官，参考图负责指方向，固定Seed负责减少变量，局部重绘负责兜底。建议你先按第三章的参数表，把一个角色完整跑完三个场景，同时记录每张图的Seed和权重，跑完你基本就能摸清手头底模的“脾气”了。