大模型在视频创作工具中的应用：从脚本生成到自动剪辑的AI工具链
一、背景与问题定义
视频创作的门槛从未像今天这样低——手机能拍 4K，剪辑软件几乎免费。但"拍出来"和"拍好"之间仍隔着巨大的鸿沟：脚本怎么写、分镜怎么规划、配音怎么配、字幕怎么加。这些环节对普通创作者来说，每一环都是专业技能的壁垒。
大模型的出现改变了这个局面。LLM 能写脚本、TTS 能做配音、ASR 能转字幕、视觉模型能理解画面——如果把这些能力编排成一条创作工具链，普通人只需要提供"我想做一个关于 XX 的视频"的主题，就能获得脚本→分镜→配音→自动剪辑→字幕的全流程辅助。
本文复盘一条 AI 视频创作工具链的后端架构设计，涵盖脚本生成、TTS 集成、自动剪辑时间轴生成、ASR 字幕生成和微服务编排。
二、整体工具链架构
脚本生成与分镜规划
3.1 脚本生成的 Prompt 工程
脚本生成是工具链的第一步，也是最关键的一步。使用 Qwen-Max 模型，Prompt 设计为三阶段：
阶段一：生成结构化大纲
你是一位专业的短视频脚本策划师。用户想做一个关于"{topic}"的视频， 时长约 {duration} 秒，风格为 {style}。 请生成一个结构化的视频大纲： 1. 开场钩子（前3秒抓住注意力） 2. 主要内容段落（3-5个要点） 3. 结尾总结+行动号召 格式要求：返回 JSON阶段二：展开为完整脚本
基于以下大纲，展开为完整的视频脚本。 每个段落需要包含： - 旁白文字（用于TTS配音） - 画面描述（用于分镜和素材匹配） - 预估时长（秒） {大纲JSON} 返回格式：JSON数组3.2 分镜规划的实现
@Service public class ScriptGeneratorService { private final LlmClient llmClient; public VideoScript generateScript(CreationRequest request) { // 阶段一：大纲 String outlinePrompt = buildOutlinePrompt(request); String outlineJson = llmClient.chat(outlinePrompt); ScriptOutline outline = JSON.parseObject(outlineJson, ScriptOutline.class); // 阶段二：完整脚本（含分镜） String scriptPrompt = buildScriptPrompt(outline); String scriptJson = llmClient.chat(scriptPrompt); List<ScriptSegment> segments = JSON.parseArray(scriptJson, ScriptSegment.class); // 校验：总时长校验 int totalDuration = segments.stream() .mapToInt(ScriptSegment::getDurationSeconds) .sum(); if (Math.abs(totalDuration - request.getTargetDuration()) > 10) { // 时长偏差超过10秒，重新调整 return adjustScriptDuration(segments, request.getTargetDuration()); } return new VideoScript(outline, segments); } private String buildScriptPrompt(ScriptOutline outline) { return """ 基于以下大纲，展开为完整的视频脚本。 每个段落需要包含： - narration: 旁白文字（用于TTS配音，口语化） - sceneDescription: 画面描述（用于分镜，尽量具体描述场景、动作、构图） - durationSeconds: 预估时长（整数，单位秒） 大纲： %s 返回格式：JSON数组 [{narration, sceneDescription, durationSeconds}] """.formatted(JSON.toJSONString(outline)); } }三、TTS 配音集成与自动剪辑
4.1 TTS 配音批处理
配音使用火山引擎 TTS 服务（音色：主播小泽），按脚本段落逐一生成音频：
@Service public class TTSService { private final VolcengineTtsClient ttsClient; private final ExecutorService executor = Executors.newFixedThreadPool(8); public List<AudioSegment> generateAudios(List<ScriptSegment> segments) { List<CompletableFuture<AudioSegment>> futures = new ArrayList<>(); for (int i = 0; i < segments.size(); i++) { final int index = i; ScriptSegment seg = segments.get(i); CompletableFuture<AudioSegment> future = CompletableFuture.supplyAsync(() -> { byte[] audioData = ttsClient.synthesize( TtsRequest.builder() .text(seg.getNarration()) .voice("zh_female_voyage_emo_large") .speed(1.0) .volume(1.0) .build()); // 计算实际音频时长 double actualDuration = getAudioDuration(audioData); return new AudioSegment(index, audioData, actualDuration); }, executor); futures.add(future); } return futures.stream() .map(CompletableFuture::join) .sorted(Comparator.comparingInt(AudioSegment::index)) .collect(Collectors.toList()); } }4.2 自动剪辑时间轴生成
自动剪辑的本质是"将脚本段落、配音音频、画面素材按时间轴组装"。时间轴是一系列片段（Clip）的序列，每个 Clip 包含起止时间、素材引用和转场效果。
@Service public class AutoEditService { public EditTimeline generateTimeline(List<ScriptSegment> segments, List<AudioSegment> audios, List<Material> materials) { EditTimeline timeline = new EditTimeline(); double currentTime = 0.0; for (int i = 0; i < segments.size(); i++) { ScriptSegment seg = segments.get(i); AudioSegment audio = audios.get(i); // 素材匹配：根据画面描述检索匹配的素材 Material matchedMaterial = materialMatcher.match( seg.getSceneDescription(), materials); double clipDuration = audio.getActualDuration(); Clip clip = Clip.builder() .index(i) .startTime(currentTime) .endTime(currentTime + clipDuration) .materialId(matchedMaterial.getId()) .materialTrimStart(matchedMaterial.getSuggestedTrimStart()) .audioId(audio.getAudioFileId()) .transition((i < segments.size() - 1) ? Transition.FADE : Transition.NONE) .build(); timeline.addClip(clip); currentTime += clipDuration; } // 添加片尾 timeline.addClip(Clip.builder() .index(segments.size()) .startTime(currentTime) .endTime(currentTime + 3.0) .type(ClipType.ENDING) .build()); return timeline; } }4.3 FFmpeg 视频合成
时间轴生成后，通过 FFmpeg 的 concat demuxer 将素材拼接为完整视频：
public class FfmpegCompositor { public void composite(EditTimeline timeline, String outputPath) { // 生成 concat 文件列表 StringBuilder concatFile = new StringBuilder(); for (Clip clip : timeline.getClips()) { concatFile.append(String.format( "file '%s'\n", clip.getRenderedClipPath())); } Path concatListPath = Files.createTempFile("concat_", ".txt"); Files.writeString(concatListPath, concatFile.toString()); // FFmpeg 拼接 + 混音 String cmd = String.format( "ffmpeg -f concat -safe 0 -i %s -i %s " + "-filter_complex '[1:a]volume=0.8[bgm];[0:a][bgm]amix=inputs=2:duration=first' " + "-c:v libx264 -preset fast -crf 23 -c:a aac -b:a 128k " + "-movflags +faststart %s", concatListPath, timeline.getBackgroundMusicPath(), outputPath); executeFfmpeg(cmd); } }四、ASR 字幕生成
字幕生成在视频合成后进行。使用 Whisper-Large-v3 模型，中文识别准确率达到 96% 以上：
import whisper import json class SubtitleGenerator: def __init__(self, model_size: str = "large-v3"): self.model = whisper.load_model(model_size) def generate(self, video_path: str, output_srt: str) -> list[dict]: result = self.model.transcribe( video_path, language="zh", task="transcribe", verbose=False, word_timestamps=True # 启用词级时间戳 ) # 生成 SRT 格式字幕 with open(output_srt, "w", encoding="utf-8") as f: for i, segment in enumerate(result["segments"], 1): start = self._format_timestamp(segment["start"]) end = self._format_timestamp(segment["end"]) text = segment["text"].strip() f.write(f"{i}\n{start} --> {end}\n{text}\n\n") return result["segments"] def _format_timestamp(self, seconds: float) -> str: hours = int(seconds // 3600) minutes = int((seconds % 3600) // 60) secs = int(seconds % 60) millis = int((seconds % 1) * 1000) return f"{hours:02d}:{minutes:02d}:{secs:02d},{millis:03d}"五、总结
AI 视频创作工具链的本质是将专业创作流程中的每个步骤——脚本、分镜、配音、剪辑、字幕——分别用 AI 模型替代或辅助，并通过微服务架构编排成一条完整的流水线。
工程上的关键设计选择：LLM 脚本生成采用两阶段（大纲→完整脚本）以控制质量和结构；TTS 配音按段落并行生成以减少整体延迟（8 核并行将 60 秒脚本的配音时间从 15 秒降到 3 秒）；FFmpeg concat 拼接而非程序化逐帧合成（简单可靠）；ASR 使用 Whisper 的词级时间戳实现精确的字幕对齐。
后续方向：引入视频生成模型（如 Sora、可灵）能力让 AI 直接生成视频素材而不仅是检索匹配；利用用户修改脚本的行为数据做 RLHF 微调让 LLM 逐渐写出更符合创作者口味的脚本；以及构建多模态反馈闭环——根据视频的播放数据和用户互动数据反向优化脚本生成的 Prompt 策略。
