AI绘画课程拆解：Midjourney与Stable Diffusion学习路径与实战指南

1. 从零拆解一套AI绘画课程：MJ与SD到底该怎么学

AI绘画这个词这两年火得有点不讲道理。打开任何一个内容平台，满屏都是“一句话生成大片”“零基础接单月入过万”的标题，但真正沉下心去学的人会发现，工具本身的门槛在降低，可“用好”的门槛反而在升高。我接触Midjourney和Stable Diffusion差不多两年时间，从最开始对着Discord里一堆指令发呆，到后来能稳定出商用级别的图，中间踩过的坑、浪费过的算力、买错的课程，加起来能写一本小册子。所以当我看到“知乎知学堂-AI绘画MJ+SD课程”这个标题的时候，第一反应不是“又一个割韭菜的课”，而是想认真聊聊：如果现在有人想系统学AI绘画，一套合格的课程到底应该包含什么，MJ和SD这两条技术路线各自解决什么问题，以及一个普通人从零到能出活，最短的路径是什么。

这篇文章不打算给任何具体课程打广告，也不会甩一堆“限时优惠”的链接。我想做的是把“AI绘画课程”这个黑箱拆开，让你看清楚里面应该有什么、哪些是真正值钱的部分、哪些是凑数的水货。如果你正在犹豫要不要报课、报什么课，或者你已经买了课但学得云里雾里，这篇内容应该能帮你省下不少时间和冤枉钱。全文会围绕MJ和SD两条主线展开，穿插提示词工程、模型选择、工作流搭建、常见故障排查这些实操层面的东西，尽量做到你看完就能上手试，试了就能出结果。

2. 为什么MJ和SD要放在一起学：两条路线的本质差异

2.1 Midjourney的“开箱即用”到底省了什么

Midjourney的核心优势用一句话概括就是：你把想法翻译成英文提示词，它负责把剩下的脏活累活全干了。不需要考虑显卡型号，不需要折腾Python环境，不需要下载几十个G的模型文件，甚至不需要理解什么是采样器、什么是CFG scale。你只需要在Discord的对话框里敲下/imagine prompt: a cat wearing sunglasses, cyberpunk style，等个几十秒，四张图就摆在你面前了。

这种“傻瓜式”体验背后，是Midjourney团队在模型训练、推理优化、审美对齐上做的巨大投入。它的底层模型经过大量高质量图像的训练，对光影、构图、材质的表现有一种“天生”的敏感度。你不需要告诉它“用伦勃朗光”，它自己就知道怎么打光好看。这也是为什么很多设计师即便后来转投SD，依然会保留MJ的订阅——在快速出概念图、找灵感方向这个环节，MJ的效率目前没有对手。

但MJ的短板同样明显。第一是可控性差，你没法精确控制人物的姿势、手部的细节、画面的构图，只能通过反复抽卡来碰运气。第二是定制化能力弱，虽然现在有了--cref和--sref这些参考功能，但跟SD的ControlNet、LoRA比起来，依然是小巫见大巫。第三是成本问题，基础订阅一个月10美金，想用快速模式或者隐身模式还得加钱，长期用下来不是小数目。

2.2 Stable Diffusion的“高门槛”换来了什么

Stable Diffusion走的是完全相反的路线。它是一个开源的扩散模型，你可以把它理解成一个“毛坯房”——框架给你了，但装修得自己来。你需要一张显存至少8G的N卡（6G也能跑，但会很憋屈），需要装Python、Git、CUDA驱动，需要下载底模、VAE、LoRA、ControlNet模型，需要理解采样步数、采样器、CFG、种子这些参数的含义。

听起来很劝退对吧？但正是这些“麻烦”，换来了MJ给不了的东西。ControlNet可以让你用一张线稿精确控制生成图的构图，OpenPose可以锁定人物的骨骼姿势，IP-Adapter可以迁移参考图的风格，LoRA可以让你用几十张图训练出特定的人物脸型或画风。在SD的世界里，你几乎可以控制生成过程的每一个环节。这意味着什么？意味着你可以做商业级的角色设计、可以做风格统一的绘本插图、可以做精确到像素的产品概念图。

还有一个关键点：SD是本地运行的。你的提示词、你的模型、你生成的图，全部在你自己电脑上，不存在上传到别人服务器的隐私问题。对于接商单的设计师来说，这一点至关重要。另外，SD的生态极其丰富，C站上每天都有新的模型和LoRA发布，从写实人像到二次元插画，从建筑效果图到工业设计草图，几乎每个细分领域都有专门优化过的模型。

2.3 一套合格的课程应该怎么分配这两块内容

基于上面的分析，一套靠谱的MJ+SD课程，在内容分配上应该遵循“MJ打头阵、SD做纵深”的逻辑。MJ部分不需要讲太多，重点放在提示词的结构化写法、参数的高阶用法、以及如何用MJ快速验证创意方向。这部分大概占课程总量的20%到30%就够了，因为MJ本身的学习曲线很平缓，讲多了就是凑时长。

SD部分才是重头戏，应该占到60%以上。具体来说，环境搭建和基础操作占10%，提示词工程和参数调优占20%，ControlNet和LoRA的实战应用占30%，剩下的是工作流整合和商业案例拆解。我见过太多课程把大量时间花在“怎么安装Python”这种基础问题上，真正值钱的ControlNet实战却一笔带过，这种课买了就是浪费钱。

判断一套课程值不值，有个很简单的标准：看它有没有讲清楚“什么时候该用MJ，什么时候该用SD”。如果全程只教工具操作，不教决策逻辑，那说明讲师自己可能都没想明白。

3. 提示词工程：从“抽卡”到“定向生成”的关键一跃

3.1 MJ提示词的骨架：主体、风格、参数三层结构

很多人写MJ提示词的习惯是“想到什么写什么”，结果就是生成结果极不稳定。我自己的做法是把提示词拆成三层：主体描述层、风格修饰层、技术参数层。主体描述层负责说清楚“画什么”，包括主体、动作、环境、构图。风格修饰层负责说清楚“怎么画”，包括艺术风格、光影效果、材质质感、参考艺术家。技术参数层就是--ar、--v、--style这些控制输出格式的指令。

举个例子，如果你想生成一张“赛博朋克风格的女性角色”，不要直接写cyberpunk girl，而是写成a female hacker standing in a neon-lit alley, rain-soaked streets, holographic advertisements, cinematic lighting, shot on 35mm lens, depth of field, cyberpunk aesthetic, inspired by Blade Runner 2049 --ar 16:9 --v 6。这样写出来的提示词，生成结果的稳定性会高很多，因为每个词都在给模型提供明确的方向。

这里有个小技巧：MJ对英文提示词的理解远好于中文，但你可以用翻译工具先把中文想法翻成英文，然后再手动调整关键词的顺序。通常来说，越靠前的词权重越高，所以把最重要的主体放在最前面，风格词放在后面。

3.2 SD提示词的权重控制：括号与数字的魔法

SD的提示词语法比MJ复杂得多，因为它支持权重控制。基本规则是：用括号包裹关键词可以增加权重，比如(masterpiece:1.2)表示这个词的权重是1.2倍。方括号[keyword]则是降低权重。这个机制在调整画面元素时非常有用，比如你发现生成的人脸总是崩，就可以把(detailed face:1.3)加进去。

但权重不是越高越好。我试过把(perfect hands:1.5)加到提示词里，结果手是没崩，但整个画面的构图变得极其诡异。后来才明白，权重超过1.3之后，模型会过度关注这个词，导致其他元素的生成质量下降。一般来说，权重控制在0.8到1.3之间比较安全，超过这个范围就要小心了。

还有一个容易被忽略的点：负面提示词。SD的负面提示词不是“不要什么”，而是“把什么从画面里推出去”。常用的负面提示词包括lowres, bad anatomy, bad hands, text, error, missing fingers, extra digit, fewer digits, cropped, worst quality, low quality, normal quality, jpeg artifacts, signature, watermark, username, blurry。这套负面提示词几乎适用于所有场景，建议直接存成模板。

3.3 提示词网站和工具：哪些值得用，哪些是坑

网上有很多所谓的“AI绘画提示词网站”，质量参差不齐。我常用的有两个：一个是PromptHero，它收录了大量MJ和SD的提示词案例，可以按风格和主题筛选；另一个是Lexica，专门针对SD的提示词搜索，支持按模型版本过滤。这两个网站的好处是，你不仅能看到提示词，还能看到对应的生成图，方便判断效果。

但要注意，直接复制别人的提示词往往出不来一样的效果，因为模型版本、采样器、种子这些变量都不一样。正确的用法是：把别人的提示词当作参考，理解它的结构逻辑，然后根据自己的需求调整。比如你看到一张很好看的人像图，提示词里用了soft lighting, rim light, 85mm lens，你就可以把这几个词记下来，下次生成人像时直接套用。

至于那些号称“一键生成爆款提示词”的工具，我的建议是谨慎使用。它们生成的提示词往往堆砌了大量华丽但无意义的词，看起来很长很专业，实际生成效果并不稳定。提示词的核心是“准确”而不是“华丽”，用最少的词说清楚你想要什么，比堆一百个形容词有用得多。

4. SD环境搭建与模型管理：别在第一步就卡住

4.1 本地部署还是云端方案：一张表帮你做决定

SD的部署方式主要有三种：本地部署、云端部署、以及整合包。本地部署需要自己装Python、Git、CUDA，适合有编程基础、显卡配置够用的人。云端部署是在租用的服务器上跑SD，适合显卡不行但想用SD的人。整合包是别人把环境打包好，你下载解压就能用，适合纯小白。

我个人的建议是：如果你有一张RTX 3060以上的显卡，直接本地部署，虽然前期麻烦一点，但长期来看最省心。如果显卡是GTX 1650这种级别的，可以考虑云端方案，按需付费。整合包适合完全不想折腾环境的人，但要注意整合包的版本更新往往滞后，而且有些整合包会捆绑垃圾软件。

4.2 模型文件的分类与管理：底模、VAE、LoRA、ControlNet

SD的模型文件种类很多，新手最容易搞混。简单来说，底模（Checkpoint）是生成图像的基础模型，决定了整体的画风和质量。VAE是负责色彩解码的组件，有些底模会自带VAE，有些需要单独下载。LoRA是微调模型，用来给底模增加特定的风格或角色。ControlNet是控制模型，用来约束生成图的构图、姿势、深度等信息。

模型文件的管理是个体力活。我的做法是按类型建文件夹：models/Stable-diffusion放底模，models/VAE放VAE，models/Lora放LoRA，models/ControlNet放ControlNet。每个文件夹里再用子文件夹按风格分类，比如写实、二次元、建筑。这样找起来方便，也不容易搞混。

下载模型时一定要注意版本兼容性。SD 1.5的LoRA不能用在SDXL上，SDXL的ControlNet也不能用在SD 1.5上。下载前先看清楚模型说明里的基础模型版本。

4.3 常见报错与排查：从“CUDA out of memory”说起

SD最常见的报错就是CUDA out of memory，翻译过来就是显存不够了。解决方法有几个：降低生成分辨率、减少批处理数量、开启--medvram或--lowvram优化选项、关闭其他占用显存的程序。如果这些都不行，那就只能换显卡或者用云端了。

另一个常见问题是生成出来的图是黑图或者绿图。这通常是VAE的问题，要么是VAE文件损坏，要么是底模和VAE不匹配。解决办法是换一个VAE，或者把VAE设置成None让底模自己处理。还有的时候是采样器的问题，换一个采样器试试，比如从Euler a换成DPM++ 2M Karras。

模型加载失败也是高频问题。如果控制台提示Error loading model，先检查模型文件是不是完整下载了，有时候下载中断会导致文件损坏。然后检查模型文件的格式，SD支持.ckpt和.safetensors两种格式，后者更安全，推荐优先使用。如果还是不行，可能是模型版本和WebUI版本不兼容，更新一下WebUI试试。

5. ControlNet实战：让AI按你的想法构图

5.1 ControlNet的安装与模型选择

ControlNet是SD生态里最重要的插件之一，它让“精确控制”成为可能。安装方法很简单，在WebUI的扩展页面搜索sd-webui-controlnet，点击安装，然后重启WebUI。安装完成后，还需要下载对应的ControlNet模型文件，放到extensions/sd-webui-controlnet/models目录下。

ControlNet的模型有很多种，常用的包括：canny用于边缘检测，openpose用于姿势控制，depth用于深度图控制，lineart用于线稿上色，ip-adapter用于风格迁移。每个模型都有对应的预处理器，预处理器负责从参考图中提取控制信息，模型负责根据控制信息生成图像。

选择哪个ControlNet模型，取决于你想控制什么。如果你想让人物的姿势和参考图一致，用openpose。如果你想保持参考图的构图，用canny或lineart。如果你想迁移参考图的风格，用ip-adapter。我个人的经验是，openpose和lineart的使用频率最高，前者用于角色设计，后者用于插画上色。

5.2 从参考图到成图：一个完整的工作流演示

假设你想生成一张“穿着汉服的女性角色，姿势参考某张照片”。工作流是这样的：先把参考照片拖进ControlNet的openpose预处理器，提取骨骼图。然后在提示词里写a woman wearing hanfu, traditional Chinese style, detailed embroidery, soft lighting。接着调整ControlNet的权重，一般设置在0.8到1.0之间，太高会导致画面僵硬，太低则控制不住姿势。最后点击生成，看效果。

如果生成的人脸崩了，可以加一个faceid或者roop插件来修复人脸。如果衣服的细节不够，可以在提示词里加intricate embroidery, silk texture。如果背景太乱，可以用depthControlNet来控制背景的层次。整个过程需要反复调整，但一旦跑通，效率比纯抽卡高得多。

5.3 ControlNet的权重与引导时机：两个容易被忽略的参数

ControlNet有两个关键参数：Control Weight和Starting/Ending Control Step。Control Weight控制的是ControlNet对生成过程的影响强度，范围是0到2，默认是1。Starting/Ending Control Step控制的是ControlNet在哪个阶段介入，范围是0到1，默认是0到1，也就是全程介入。

这两个参数调好了，效果会好很多。比如你想让生成的图“参考姿势但不要太死板”，可以把Control Weight降到0.6，把Ending Control Step设成0.8，这样ControlNet只在生成的前80%阶段起作用，后面20%让模型自由发挥。反过来，如果你想“严格复刻参考图的构图”，就把Control Weight设成1.2，Ending Control Step设成1.0。

我试过用openpose控制一个跳舞的姿势，Control Weight设成1.0的时候，生成的人体结构很准确但动作有点僵硬。后来把Control Weight降到0.7，Ending Control Step设成0.9，生成的动作就自然多了，同时姿势也没有跑偏。这个参数组合我后来用在了很多角色设计的场景里，效果一直很稳。

6. LoRA训练与模型微调：让AI学会你的画风

6.1 LoRA是什么：用几十张图教会AI一个新概念

LoRA的全称是Low-Rank Adaptation，翻译过来叫“低秩适应”。听起来很学术，但你可以把它理解成给底模打的一个“补丁”。底模是一个通才，什么都会画但什么都不精。LoRA是一个专才，只学一个特定的概念，比如某个人的脸、某种画风、某件衣服。你给它几十张相关的图，它就能学会这个概念，然后在生成时把这个概念“贴”到画面上。

LoRA的训练门槛比想象中低。一张RTX 3060 12G的显卡，用kohya_ss这个训练工具，大概两三个小时就能训练出一个可用的LoRA。训练数据的要求是：20到50张图，分辨率统一，主体清晰，背景干净。如果训练人物脸型，最好包含不同角度、不同表情、不同光照的图。如果训练画风，最好包含不同主题但风格一致的图。

6.2 训练参数怎么设：步数、学习率、网络维度的取舍

LoRA训练的参数很多，但最关键的三个是：max_train_steps（训练步数）、learning_rate（学习率）、network_dim（网络维度）。训练步数一般设在1000到2000之间，太少学不会，太多会过拟合。学习率一般设在1e-4到1e-5之间，太高会导致训练不稳定，太低则收敛太慢。网络维度一般设在32到128之间，越高表达能力越强，但文件也越大。

我训练第一个LoRA的时候，把步数设成了5000，结果生成的图完全过拟合，不管画什么都带着训练集里的背景。后来把步数降到1500，学习率调到2e-5，效果就正常了。所以参数这东西，不是越大越好，找到平衡点才是关键。建议第一次训练时用保守参数，跑完之后看效果再调整。

6.3 LoRA的使用与叠加：权重控制和多LoRA混合

训练好的LoRA文件放到models/Lora目录下，在WebUI的提示词里用<lora:文件名:权重>的格式调用。权重一般设在0.6到1.0之间，太高会覆盖底模的风格，太低则效果不明显。我通常先用0.8试一下，如果效果太强就降到0.6，太弱就升到1.0。

多个LoRA可以叠加使用，比如同时加载一个“人物脸型”LoRA和一个“画风”LoRA。但要注意，LoRA之间可能会互相干扰，导致画面崩坏。解决办法是降低每个LoRA的权重，比如两个LoRA都用0.5，让它们共同作用。如果还是不行，就分开生成，先用一个LoRA生成底图，再用另一个LoRA做局部重绘。

LoRA训练最耗时的部分不是训练本身，而是数据集的准备。图片的质量直接决定了LoRA的质量，模糊的、有水印的、构图混乱的图，训练出来的LoRA也好不到哪去。宁可少几张图，也要保证每张图都是精品。

7. 常见问题与排查技巧实录

7.1 生成图模糊、崩坏、色彩异常：排查清单

这张表是我自己踩坑总结出来的，基本上覆盖了80%的常见问题。遇到报错先别慌，按表里的顺序排查，大部分问题都能解决。

7.2 提示词不生效：权重、语法、模型的三重检查

有时候你写了很详细的提示词，但生成结果完全不按你的想法来。这种情况通常是三个原因：一是权重设置有问题，关键词被其他词压制了；二是语法写错了，比如括号没闭合、冒号用成了中文；三是底模本身不支持这个概念，比如用二次元模型生成写实照片。

排查方法是：先把提示词精简到只剩主体，看模型能不能生成基本正确的内容。然后逐步加回风格词和参数，每加一个就生成一次，看是哪个词导致了问题。这个过程有点繁琐，但能帮你快速定位问题。我试过用这个方法排查一个“赛博朋克风格”不生效的问题，最后发现是底模选错了，换了一个专门训练过赛博朋克风格的模型就正常了。

7.3 显存不够用：从硬件到软件的全方位优化

显存不够是SD用户最常见的痛点。除了换显卡这个终极方案，还有很多软件层面的优化可以做。第一，降低生成分辨率，512x512比1024x1024省一半以上的显存。第二，开启--medvram或--lowvram，让WebUI把部分模型加载到内存而不是显存。第三，使用--xformers优化注意力机制，能省不少显存。第四，关闭其他占用显存的程序，比如浏览器、游戏、视频播放器。

如果这些都不行，可以考虑用Tiled Diffusion插件做分块生成，把大图拆成小块分别生成再拼接。或者用img2img的SD Upscale功能，先生成小图再放大。我有一张8G显存的卡，用这些方法能稳定生成1024x1024的图，虽然速度慢一点，但至少不会爆显存。

8. 从学习到接单：AI绘画的商业化路径

8.1 哪些方向真的能赚到钱

AI绘画的商业化方向很多，但真正能赚到钱的没几个。我观察下来，目前比较靠谱的方向有三个：一是电商产品图，很多小商家需要大量白底图、场景图，用SD批量生成效率很高；二是头像和壁纸定制，虽然单价低但需求量大，适合走量；三是游戏和动漫的角色概念设计，这个门槛高但单价也高，需要一定的美术基础。

不太靠谱的方向包括：AI绘画“无审核”内容、批量生成低质量素材倒卖、以及各种“AI绘画月入过万”的培训课。前两个要么有合规风险，要么利润薄得可怜。第三个我就不多说了，你自己品。

8.2 接单前必须搞清楚的几件事

接单之前，先想清楚三个问题：你的交付标准是什么？你的定价依据是什么？你的版权归属怎么算？交付标准决定了客户满不满意，定价依据决定了你能不能赚到钱，版权归属决定了你会不会惹上麻烦。

我的做法是：交付标准写清楚“修改次数”和“交付格式”，比如“包含3次修改，交付PNG和PSD源文件”。定价按“基础价+修改费”的模式，基础价覆盖一次成稿的成本，修改超过3次就加钱。版权方面，默认客户拥有使用权，但我保留作品展示权，这一点在接单前就要说清楚。

8.3 一个真实的接单案例拆解

上个月接了一个电商产品图的项目，客户需要20张不同场景的保温杯展示图。我的工作流是这样的：先用MJ生成20张不同场景的概念图，让客户确认风格方向。然后用SD的img2img功能，把产品图贴到概念图里，用ControlNet的canny控制产品轮廓，用ip-adapter迁移场景风格。最后用SD Upscale放大到4K分辨率，交付给客户。

整个项目耗时大概6个小时，收费800块。听起来时薪不高，但大部分时间是在等生成，实际手动操作的时间不到2小时。这个项目的关键是“批量处理”，我把工作流搭好之后，剩下的就是换产品图、换场景提示词、批量生成。如果你能把这套流程跑通，接单的效率会高很多。

9. 我个人的学习路径复盘

回头看这两年学AI绘画的过程，最大的弯路是“贪多”。一开始什么都想学，MJ、SD、NovelAI、DALL-E全试了一遍，结果每个都只学了皮毛。后来沉下心只搞MJ和SD，把这两个工具吃透，反而进步最快。所以我的建议是：先选一个工具入门，MJ也好SD也好，先用起来，找到感觉之后再学另一个。

第二个弯路是“只看教程不动手”。我买过三套课程，前两套都是看完就忘，因为光看不动手，根本记不住。第三套课程我逼着自己每看完一节就动手做一遍，遇到问题就查文档、问群友，那段时间的进步速度是之前的十倍。所以如果你正在学AI绘画，别光看，打开软件动手做，哪怕只是生成一张最简单的图，也比看十篇教程有用。

第三个弯路是“追求完美参数”。有段时间我沉迷于研究各种采样器、调度器的区别，试图找到“最优解”。后来发现，参数的影响远没有提示词和模型的影响大。与其花时间调参数，不如多花时间写提示词、多试几个模型。参数只要不离谱，生成结果都不会太差。

最后分享一个小技巧：建立一个自己的“提示词库”和“参数预设库”。每次生成出满意的图，就把提示词、模型、参数、种子全部记下来，分类存档。下次遇到类似的需求，直接调用预设，效率能提升好几倍。这个习惯我坚持了半年，现在手头积累了200多条预设，基本上覆盖了常见的生成场景。