从零构建AI视频生成工作流：基于GPT、Stable Diffusion与MoviePy的完整实战

最近在探索AI视频生成领域时，发现很多教程都在讲“Codex + 这个工具”、“Codex + 那个模型”，听起来很热闹，但往往缺少一个能从头到尾跑通、能看到最终视频结果的完整实战案例。作为开发者，我们更关心的是如何把工具用起来，而不是停留在概念拼接。本文将彻底解决这个问题，带你一镜到底，从零开始搞定Codex，实现一键自动生成视频的全流程。

无论你是想为自媒体内容寻找效率工具，还是希望将AI视频能力集成到自己的项目中，这篇文章都将提供一套可复现的解决方案。我们将涵盖环境搭建、核心配置、脚本编写、结果展示以及避坑指南，确保你读完就能动手做出自己的第一个AI视频。

1. Codex 是什么？它能解决什么问题？

在深入实战之前，我们有必要厘清“Codex”在这个语境下的具体所指。根据当前的网络讨论热点，“Codex”一词在此处并非特指OpenAI那个用于代码生成的Codex模型，而是指一个集成了多种AI模型能力（可能包括文本生成、图像生成、视频合成等）的AI应用平台或工具。它通常作为一个“中转站”或“调度中心”，允许用户通过配置，串联起从文本脚本到最终视频的整个生成流水线。

核心价值与常见场景：

1. 自动化内容创作：输入一个主题或脚本，自动生成对应的视频文案、分镜画面，并合成最终视频，极大提升视频制作的效率。
2. 降低技术门槛：用户无需深入学习Stable Diffusion、Sora（或其他视频生成模型）、TTS等每一个独立工具，通过Codex的界面或配置即可调用。
3. 工作流集成：对于开发者而言，可以通过API或CLI将视频生成能力嵌入到自己的应用或自动化流程中。

简单来说，本文要搞定的“Codex”，是一个能够帮你“一键生成视频”的AI工具链的统称或具体实现。接下来，我们就从最实际的环境搭建开始。

2. 环境准备与工具说明

由于“Codex”可能指代不同的具体实现（如一些开源项目或整合平台），为了确保教程的通用性和可复现性，我们将以一种常见的、基于命令行和Python的AI视频生成工作流为例进行演示。这个工作流模拟了“Codex”的核心思想：串联多个AI服务。

基础环境要求：

• 操作系统：Windows 10/11， macOS 或 Linux (Ubuntu 20.04+)。本文示例以Windows为主，其他系统命令略有不同。
• Python：版本 3.8 - 3.10。推荐使用3.9，兼容性最好。
• 包管理工具：pip(随Python安装)。
• 代码编辑器：VS Code（推荐，便于管理脚本和查看日志）。
• 网络环境：需要能正常访问相关AI服务的API（请确保合法合规使用）。

核心工具链准备：我们的“一键视频”流水线将涉及以下几个环节，你需要准备相应的API密钥或本地模型：

1. 文本生成 (文案/脚本)：例如使用 OpenAI GPT API、DeepSeek API 或本地运行的 ChatGLM 等。本文使用openai库调用 GPT-3.5/4 为例。
2. 文本转语音 (TTS)：例如使用 Edge-TTS、Azure TTS 或 OpenAI TTS API。本文使用免费、易用的edge-tts。
3. 文本生成图像/视频帧：例如使用 Stable Diffusion API (如通过diffusers库调用本地模型，或使用 Stable Diffusion WebUI 的 API)。本文假设使用本地部署的 Stable Diffusion WebUI 的 API。
4. 图像合成视频 & 音频合成：使用moviepy库，这是Python下强大的视频编辑库。
5. 流程控制与调度：我们将编写一个Python主脚本来串联以上所有步骤。

安装必要的Python库：打开你的终端(CMD/PowerShell/Terminal)或VS Code的终端，创建一个新的项目目录，并安装依赖。

# 创建项目目录并进入 mkdir ai_video_maker cd ai_video_maker # 创建虚拟环境（可选但推荐） python -m venv venv # Windows 激活 venv\Scripts\activate # macOS/Linux 激活 # source venv/bin/activate # 安装核心库 pip install openai # 用于GPT API调用 pip install edge-tts # 用于文本转语音 pip install requests # 用于调用Stable Diffusion API pip install moviepy # 用于视频剪辑合成 pip install pillow # 图像处理，moviepy依赖

API密钥与本地服务准备：

• OpenAI API：访问 OpenAI 平台，创建并保存好你的API Key。
• Stable Diffusion WebUI：确保你已在本地（如http://127.0.0.1:7860）或某个可访问的服务器上部署并启动了 Stable Diffusion WebUI，且开启了--api选项。例如启动命令：.\webui.bat --api。
• 其他：edge-tts无需密钥。

在项目根目录下创建一个.env文件来管理敏感信息（记得将其加入.gitignore）：

# .env 文件内容 OPENAI_API_KEY=你的-openai-api-key-here # STABLE_DIFFUSION_API_BASE=http://127.0.0.1:7860

3. 核心流程拆解与模块编写

我们的目标是实现一个脚本，输入一个主题（如“夏日海滩度假”），自动完成以下步骤：

1. 生成视频文案/分镜描述。
2. 将文案转换为语音。
3. 根据分镜描述生成一系列图片。
4. 将图片合成为视频，并配上背景音乐和语音。

下面我们分模块实现。

3.1 模块一：使用GPT生成视频脚本与分镜

创建一个文件script_generator.py：

# script_generator.py import openai import os from dotenv import load_dotenv # 加载环境变量 load_dotenv() class ScriptGenerator: def __init__(self): self.client = openai.OpenAI(api_key=os.getenv('OPENAI_API_KEY')) # 设置一个基础的系统提示词，引导GPT生成结构化的分镜脚本 self.system_prompt = """你是一个专业的视频分镜脚本作家。请根据用户提供的主题，生成一个短视频的脚本。 脚本需要包含： 1. 一段简短的旁白文案（用于配音，约100-150字）。 2. 3-5个分镜场景描述。每个描述应清晰、具体，适合用于AI绘画生成图片。 请以JSON格式回复，包含两个字段：`narration` (旁白文本) 和 `scenes` (场景描述列表)。 示例格式： { "narration": "这里是生成的旁白文案...", "scenes": ["场景1描述：阳光明媚的海滩，海浪轻轻拍打沙滩，远处有椰子树", "场景2描述：..."] } """ def generate_script(self, topic): try: response = self.client.chat.completions.create( model="gpt-3.5-turbo-1106", # 或 gpt-4 messages=[ {"role": "system", "content": self.system_prompt}, {"role": "user", "content": f"视频主题：{topic}"} ], response_format={"type": "json_object"} # 要求返回JSON ) result = response.choices[0].message.content # 解析JSON import json script_data = json.loads(result) return script_data except Exception as e: print(f"生成脚本时出错: {e}") return None if __name__ == "__main__": generator = ScriptGenerator() topic = input("请输入视频主题：") script = generator.generate_script(topic) if script: print("旁白文案：", script.get('narration')) print("\n分镜场景：") for i, scene in enumerate(script.get('scenes', [])): print(f"{i+1}. {scene}")

3.2 模块二：使用Edge-TTS生成配音

创建一个文件tts_generator.py：

# tts_generator.py import edge_tts import asyncio import os class TTSGenerator: def __init__(self, voice='zh-CN-XiaoxiaoNeural'): # 中文语音，可以选择其他声音，如 zh-CN-YunxiNeural (男声) self.voice = voice async def generate_speech_async(self, text, output_file='output/narration.mp3'): """异步生成语音文件""" # 确保输出目录存在 os.makedirs(os.path.dirname(output_file), exist_ok=True) communicate = edge_tts.Communicate(text, self.voice) await communicate.save(output_file) print(f"语音文件已生成：{output_file}") return output_file def generate_speech(self, text, output_file='output/narration.mp3'): """同步包装函数""" return asyncio.run(self.generate_speech_async(text, output_file)) if __name__ == "__main__": tts = TTSGenerator() test_text = "这是一个测试语音，用于验证TTS功能是否正常。" tts.generate_speech(test_text)

3.3 模块三：调用Stable Diffusion API生成图片

创建一个文件image_generator.py。这里假设你的Stable Diffusion WebUI运行在本地默认端口。

# image_generator.py import requests import json import os import time class ImageGenerator: def __init__(self, base_url="http://127.0.0.1:7860"): self.base_url = base_url self.txt2img_url = f"{base_url}/sdapi/v1/txt2img" def generate_image(self, prompt, negative_prompt="", steps=20, cfg_scale=7, width=512, height=512, output_dir="output/images"): """根据提示词生成单张图片""" os.makedirs(output_dir, exist_ok=True) payload = { "prompt": prompt, "negative_prompt": negative_prompt, "steps": steps, "cfg_scale": cfg_scale, "width": width, "height": height, "sampler_name": "Euler a", # 采样器 "seed": -1, # 随机种子 } try: response = requests.post(url=self.txt2img_url, json=payload) response.raise_for_status() r = response.json() # 保存图片 import base64 from PIL import Image import io for i, img_base64 in enumerate(r['images']): image_data = base64.b64decode(img_base64) image = Image.open(io.BytesIO(image_data)) timestamp = int(time.time()) filename = os.path.join(output_dir, f"scene_{timestamp}_{i}.png") image.save(filename) print(f"图片已生成：{filename}") return filename except requests.exceptions.ConnectionError: print(f"错误：无法连接到Stable Diffusion API，请确保WebUI已启动在 {self.base_url} 并开启了--api选项。") return None except Exception as e: print(f"生成图片时出错: {e}") return None def generate_images_for_scenes(self, scene_descriptions, output_dir="output/images"): """为多个场景描述生成图片""" image_paths = [] for idx, scene_desc in enumerate(scene_descriptions): print(f"正在生成第 {idx+1} 个场景的图片：{scene_desc}") # 可以在这里为每个场景定制不同的参数，如宽高比 img_path = self.generate_image( prompt=f"masterpiece, best quality, {scene_desc}", negative_prompt="low quality, worst quality, bad anatomy, blurry", output_dir=output_dir ) if img_path: image_paths.append(img_path) # 避免请求过快 time.sleep(2) return image_paths if __name__ == "__main__": # 测试连接和生成 generator = ImageGenerator() # 先测试API是否连通 try: resp = requests.get(generator.base_url) if resp.status_code == 200: print("Stable Diffusion API 连接正常。") # 生成一张测试图 test_prompt = "a beautiful sunset over the mountains, digital art" generator.generate_image(test_prompt) else: print("API连接异常。") except: print("无法连接到Stable Diffusion服务。")

3.4 模块四：使用MoviePy合成最终视频

创建一个文件video_composer.py：

# video_composer.py from moviepy.editor import * import os class VideoComposer: def __init__(self): pass def create_video(self, image_paths, audio_path, output_file='output/final_video.mp4', duration_per_image=3, fps=24): """ 将图片列表和音频合成为视频。 :param image_paths: 图片路径列表 :param audio_path: 配音音频文件路径 :param output_file: 输出视频文件路径 :param duration_per_image: 每张图片显示的秒数 :param fps: 视频帧率 """ os.makedirs(os.path.dirname(output_file), exist_ok=True) # 1. 创建图片剪辑列表 clips = [] for img_path in image_paths: # 为每张图片创建一个固定时长的剪辑 img_clip = ImageClip(img_path).set_duration(duration_per_image) clips.append(img_clip) if not clips: print("错误：没有可用的图片剪辑。") return False # 2. 拼接所有图片剪辑 video = concatenate_videoclips(clips, method="compose") # 3. 加载音频 audio = AudioFileClip(audio_path) # 4. 设置视频的音频 # 如果视频比音频长，则截断视频；如果音频比视频长，则循环图片或延长最后一张图片（这里选择截断音频） final_video = video.set_audio(audio.subclip(0, min(audio.duration, video.duration))) # 5. 写入视频文件 final_video.write_videofile(output_file, fps=fps, codec='libx264', audio_codec='aac') print(f"最终视频已生成：{output_file}") # 释放资源 final_video.close() audio.close() for clip in clips: clip.close() return True if __name__ == "__main__": # 测试：用两张示例图片和一段测试音频合成视频 composer = VideoComposer() test_images = ["output/images/scene_1.png", "output/images/scene_2.png"] # 请确保文件存在 test_audio = "output/narration.mp3" if os.path.exists(test_images[0]) and os.path.exists(test_audio): composer.create_video(test_images, test_audio, duration_per_image=4) else: print("测试文件不存在，请先运行其他模块生成素材。")

4. 一镜到底：主控脚本串联全流程

现在，我们将所有模块整合到一个主脚本中，实现真正的“一键生成”。创建main.py：

# main.py import os import json from script_generator import ScriptGenerator from tts_generator import TTSGenerator from image_generator import ImageGenerator from video_composer import VideoComposer import time def main(): print("=== AI 视频一键生成流程开始 ===") # 0. 初始化各模块 script_gen = ScriptGenerator() tts_gen = TTSGenerator() img_gen = ImageGenerator() # 确保你的SD WebUI正在运行 video_comp = VideoComposer() # 1. 用户输入主题 topic = input("请输入你想要制作的视频主题（例如：未来城市、森林冒险）：").strip() if not topic: topic = "夏日海滩" # 默认主题 print(f"主题已确定：{topic}") print("正在生成视频脚本和分镜...") # 2. 生成脚本和分镜 script_data = script_gen.generate_script(topic) if not script_data: print("脚本生成失败，流程终止。") return narration = script_data.get('narration', '') scenes = script_data.get('scenes', []) print("脚本生成成功！") print(f"旁白文案长度：{len(narration)} 字") print(f"分镜数量：{len(scenes)} 个") # 保存脚本为JSON，便于查看和复用 script_file = f"output/script_{int(time.time())}.json" os.makedirs('output', exist_ok=True) with open(script_file, 'w', encoding='utf-8') as f: json.dump(script_data, f, ensure_ascii=False, indent=2) print(f"脚本已保存至：{script_file}") # 3. 生成配音 print("\n正在生成配音...") audio_file = tts_gen.generate_speech(narration, output_file='output/narration.mp3') if not audio_file or not os.path.exists(audio_file): print("配音生成失败，流程终止。") return print("配音生成完成。") # 4. 为每个分镜生成图片 print(f"\n正在为 {len(scenes)} 个分镜生成图片...") image_paths = img_gen.generate_images_for_scenes(scenes, output_dir='output/images') if not image_paths: print("图片生成失败，流程终止。") return print(f"成功生成 {len(image_paths)} 张图片。") # 5. 合成最终视频 print("\n正在合成最终视频...") output_video = f"output/final_video_{int(time.time())}.mp4" success = video_comp.create_video( image_paths=image_paths, audio_path=audio_file, output_file=output_video, duration_per_image=5 # 每张图片显示5秒，可根据旁白长度调整 ) if success: print(f"\n🎉 恭喜！视频生成完成！ 🎉") print(f"最终视频文件：{os.path.abspath(output_video)}") print("你可以用播放器打开查看。") else: print("视频合成失败。") print("\n=== 流程结束 ===") if __name__ == "__main__": main()

5. 运行与结果展示

现在，激动人心的时刻到了。请按顺序确保：

1. Stable Diffusion WebUI 已以--api模式启动。
2. 你的.env文件中已配置正确的OPENAI_API_KEY。
3. 所有依赖已安装 (pip install -r requirements.txt，如果你创建了该文件的话)。

在项目根目录下，运行我们的主脚本：

python main.py

你将看到如下交互和输出：

=== AI 视频一键生成流程开始 === 请输入你想要制作的视频主题（例如：未来城市、森林冒险）：深海探索 主题已确定：深海探索 正在生成视频脚本和分镜... 脚本生成成功！ 旁白文案长度：125 字 分镜数量：4 个 脚本已保存至：output/script_1712345678.json 正在生成配音... 语音文件已生成：output/narration.mp3 配音生成完成。 正在为 4 个分镜生成图片... 正在生成第 1 个场景的图片：场景1描述：幽暗的深海，一束潜水器的探照灯光划破黑暗，照亮了奇特的珊瑚群。 图片已生成：output/images/scene_1712345679_0.png 正在生成第 2 个场景的图片：场景2描述：一群发光的水母在深海中缓缓飘动，色彩斑斓，如梦似幻。 图片已生成：output/images/scene_1712345682_0.png ... 成功生成 4 张图片。 正在合成最终视频... Moviepy - Building video output/final_video_1712345695.mp4. Moviepy - Writing video output/final_video_1712345695.mp4 ... Moviepy - Done ! 最终视频已生成：output/final_video_1712345695.mp4 🎉 恭喜！视频生成完成！ 🎉 最终视频文件：D:\projects\ai_video_maker\output\final_video_1712345695.mp4 你可以用播放器打开查看。 === 流程结束 ===

打开生成的final_video_1712345695.mp4，你将看到一个长约20秒的视频：画面根据“深海探索”的主题自动生成了4张对应的图片，并配有由AI生成的旁白配音。这就是“一键自动做视频”的完整成果！

6. 常见问题与排查思路 (FAQ)

在实践过程中，你可能会遇到一些问题。以下是常见问题的排查指南：

7. 优化与最佳实践

基础流程跑通后，你可以从以下几个方面优化你的“Codex”视频生成器，使其更强大、更实用：

1. 提升画面质量与一致性：

   • 使用更优的SD模型：在Stable Diffusion WebUI中加载更擅长写实、动漫或特定风格的Checkpoint模型。
   • 引入ControlNet：在image_generator.py的API调用中，加入ControlNet参数，使用线稿、深度图等控制生成画面构图，使不同分镜的画面风格和角色保持一致。
   • 优化提示词工程：为GPT的系统提示词增加更详细的要求，例如指定画面风格（“电影感”、“赛博朋克”、“水墨风”）、镜头语言（“特写”、“全景”）。

2. 增强视频表现力：

   • 添加背景音乐：使用moviepy在合成时混入一段背景音乐，注意调整音量平衡。
   • 添加转场效果：moviepy支持淡入淡出、滑动等转场效果，可以在video_composer.py的clips拼接处加入。
   • 添加字幕：利用moviepy的TextClip功能，将旁白文案以字幕形式叠加到视频底部。

3. 工程化与健壮性：

   • 配置化管理：将模型参数、路径、API地址等写入config.yaml文件，便于管理和切换不同项目配置。
   • 增加日志与错误处理：使用Python的logging模块记录完整流程日志，便于出错时回溯。对每个模块的调用进行更细致的异常捕获和重试机制。
   • 异步处理：图片生成是耗时大户，可以使用asyncio或concurrent.futures并发调用SD API，大幅缩短等待时间。
   • 创建图形界面：使用gradio或streamlit快速构建一个Web界面，让非开发者也能轻松使用。

4. 探索更多可能性：

   • 接入其他视频生成模型：除了用图片合成，可以直接调用如Pika Labs、RunwayML等生成短视频片段的API（如果可用）。
   • 动态分镜：让GPT不仅生成静态场景描述，还能生成简单的运镜指令（如“镜头缓慢拉远”），并在合成时通过图片缩放、平移模拟动态效果。

通过以上步骤，你不仅实现了一个基础的“Codex”式一键视频生成工具，更掌握了一套可扩展、可优化的AI工作流构建方法。从理解需求、拆分模块、集成API到最终合成，这个过程本身比使用任何一个现成的黑盒工具更有价值。