AI自动把课程视频变成讲义：完整流程与实操指南

我现在被问得最多的一件事，就是怎么把一小时的网课视频快速变成一份能打印、能做笔记、能考前突击的讲义。这个问题以前真的很劝退：手动暂停、截图、抄重点，一小时视频至少耗掉三小时，遇到老师语速快一点，基本就是在和进度条搏斗。

现在用 AI 来做这件事，路径已经非常成熟了：抽音频、语音转文字、大模型整理、导出讲义，一条流水线下来，课程视频还没二刷完，讲义已经可以背了。这套思路不挑平台，不挑专业，不管是考研网课、选修课回放、公司培训录像还是会议纪要，底层逻辑完全一样。

这篇文章适合学生党、打工人、以及所有需要“把视频内容变成文字资料”的人。我会从原理讲到实操，再把踩过的坑一个个列出来，最后给一些进阶玩法。你不需要一开始就配齐所有工具，哪怕只先跑通“视频转逐字稿”这一步，效率也已经比手动记笔记高出一个量级。

1. 先想清楚：AI讲义到底在解决什么痛点

1.1 课程视频为什么难啃

很多人觉得“看视频学习”比看书轻松，但效果往往很差。原因是视频是线性播放的，信息密度不稳定，老师可能花十分钟讲一个例子，也可能一句话带过重点。你想做笔记，就必须不断暂停、回放、判断哪些该记，这本身是一种高频率的注意力切换。切换一次两次没事，一节四十分钟的课切换几十次，脑子早就麻了。

更麻烦的是回看成本。视频不像文档可以全局搜索，你只知道重点“大约在视频中段”，但具体在哪一段，得拖进度条慢慢找。如果你同时看好几个老师的视频，想横向比较同一个知识点，那基本靠手抄和记忆硬扛。AI 自动把课程视频变成讲义，本质上是先把线性音频变成可搜索、可编辑、可跳转的文本，再让大模型把文本整理成结构化笔记。这样一来，视频的劣势被绕开了，文档的优势被保留了。

1.2 为什么现在做这件事靠谱

五年前也有人尝试语音转文字，但效果只能说“能看个大概”：断句混乱、同音字满天飞、专业术语全是错的，整理起来还不如手动记。但现在情况不一样了，开源语音识别模型对中文、英文和很多方言的识别准确率已经高到能直接当字幕用，加上大模型强大的文本理解和改写能力，识别出来的“毛坯稿”很快就能变成“精装讲义”。

这套流程还有一个隐藏优势：它是可复现的。同一段视频，你跑十次，核心内容不会跑偏，不像人工记笔记那样受状态影响。而且它天然带时间戳，讲义里哪个知识点出现在视频第几分钟，直接标注出来，复习的时候想回看原视频，点一下就能定位。这个“时间戳回溯”能力，是单纯看别人整理好的笔记完全比不上的。

当然也要说清楚边界：AI 是帮你把视频内容“搬运”和“重排”成讲义，不是替你理解课程。讲义生成之后，该推导的公式还是要自己推导，该做的题还是要自己做。AI 解决的是“记录和整理”的时间，而不是“理解和掌握”的时间。

2. 核心链路拆解：AI自动把课程视频变成讲义的五个环节

2.1 完整流水线长什么样

整个流程可以拆成五步，每一层解决一个单独的问题。

第一，抽取音频。视频文件里真正承载语言信息的是音轨，先把视频封装拆开，得到干净的音频文件。这一步用 FFmpeg 这个工具，一条命令就能完成。第二，语音转文字。把音频交给语音识别模型，输出带时间戳的逐字稿。这一步是整个链路的技术核心，模型选得好不好、参数调没调对，直接决定后面讲义的质量。第三，文本清洗。逐字稿里通常有大量语气词、重复句、识别错误的同音字，需要做一轮轻量级清理，比如“呃”“那个”“然后然后”这类口头禅可以去掉，专业名词要做统一替换。

第四，大模型整理。把清洗后的逐字稿交给大模型，让它按课程逻辑重组成讲义：生成标题、摘要、分节、重点、公式、代码块、思考题。这一步决定讲义是“能看”还是“好用”。第五，导出和排版。把大模型输出的 Markdown 文本转成 Word、PDF 或者直接放进笔记软件，整个过程就闭环了。

这五步不是每次都要手动操作。只要把后面第三、四步的脚本固定下来，理论上可以实现“拖一个视频进文件夹，自动吐出一份讲义”。这也是为什么我强调要先理解流程，而不是急着找某个“一键工具”——理解流程之后，你才能针对自己的场景做定制。

2.2 本地部署和云端接口怎么选

很多人一听到 AI 就想到在线工具，其实语音识别和文本整理这两步，都可以完全在本地跑。我把本地方案和云端方案放在一起做了个对比。

我个人的建议是走混合路线：语音识别在本地跑，因为 faster-whisper 这种开源模型已经足够强，而且音频数据交给本地处理更安心；文本整理这一步，如果你的电脑能跑得动 7B 以上的量化模型，就本地跑开源大模型，如果电脑配置一般，可以申请一个云端大模型接口，把逐字稿片段发过去让它整理。

行业里有很多开箱即用的工具，但我还是要提醒一句：不要指望一个界面华丽的小工具能满足所有场景。课程视频的方言、专业术语、口音、噪音、语速，每个因素都可能影响结果。理解底层原理之后，你才有能力做参数调整，而不是碰到问题就换工具。

3. 实操：用本地开源模型把视频变成讲义

3.1 准备环境，安装 FFmpeg 和 faster-whisper

我先说一个最小可跑的环境：一台电脑，最好有 NVIDIA 显卡；如果没有显卡，CPU 跑小模型也能出结果，只是慢一点。系统方面 Windows、macOS、Linux 都能搭，下面以 Windows 和 Linux 通用命令为例。

首先确保 Python 3.9 以上版本已经装好。接着安装 FFmpeg，它是一个命令行音视频处理工具，几乎所有视频处理任务都会用到。Windows 上建议用包管理器 winget 安装：

winget install ffmpeg

Linux 上一般是：

sudo apt update && sudo apt install ffmpeg

装完之后命令行执行ffmpeg -version能输出版本号就说明成功。然后创建 Python 虚拟环境，安装语音识别库 faster-whisper：

python -m venv venv source venv/bin/activate # Windows 下是 venv\Scripts\activate pip install faster-whisper

faster-whisper 是对 OpenAI Whisper 模型的加速实现，在保持识别精度的同时，推理速度更快、显存占用更低。实际体验下来，同样的视频， faster-whisper 比原版 Whisper 快两到三倍，尤其适合跑长视频。

3.2 抽音频：为什么非要用 16kHz 单声道 WAV

安装好环境之后，第一步是把视频文件里的音轨抽出来。我的标准命令是：

ffmpeg -i course.mp4 -vn -ac 1 -ar 16000 audio.wav

这个命令的意思很直接：读取 course.mp4，丢弃视频流（-vn），强制单声道（-ac 1），采样率设为 16000Hz（-ar 16000），输出成 audio.wav。为什么不是直接用视频文件识别？因为语音识别模型内部一般会先把音频重采样到 16kHz，你提前转换，能省掉模型内部的额外计算，而且后续断点重跑也更快。

为什么必须是 16kHz？这是语音识别领域的常见标准。人说话的主要频率范围集中在中低频段，16kHz 足够保留语音特征，再高的采样率对识别帮助不大，反而会让计算量成倍增加。单声道同理，立体声包含两路几乎相同的信息，模型不需要两份。所以音频预处理的原则就是：低采样率、单声道、无压缩的 WAV 格式，别用 mp3 直接喂给模型。

如果你的视频文件特别长，比如两个小时的讲座，可以先用 FFmpeg 按静音切片，或者靠识别阶段的 VAD 功能自动跳过没有人声的部分。我一般不会提前切片，直接交给 faster-whisper 的 VAD 参数处理，效果更好。

3.3 语音转文字的参数调优

接下来是核心环节。我用一段 Python 脚本做示范：

from faster_whisper import WhisperModel model = WhisperModel("small", device="cuda", compute_type="float16") segments, info = model.transcribe( "audio.wav", language="zh", beam_size=5, vad_filter=True, vad_parameters=dict(min_silence_duration_ms=500), initial_prompt="以下是一段中文课程录音，涉及专业术语，请准确转写。", ) for segment in segments: start = segment.start text = segment.text.strip() if text: print(f"[{int(start)//60:02d}:{int(start)%60:02d}] {text}")

这里有几个参数值得细说。模型大小我用的是small，它平衡了速度和准确率。如果你有 8GB 以上显存，可以换medium；如果是关键课程并且显存充足，直接上large-v3。模型越大，识别越准，但耗时会增加。第一次跑建议先用tiny或small验证整个流程，确认没问题再换成大模型跑全文。

language="zh"是告诉模型“这段音频是中文”，不要让它去猜语言。这个参数很关键，如果不指定，面对口音重的内容，模型可能先识别成其他语言，或者在中英文之间摇摆，结果就会乱掉。beam_size=5是束搜索宽度，越大结果越稳定但越慢，一般 5 到 10 之间比较合适。vad_filter=True会启用语音活动检测，自动跳过纯音乐、静音和长时间停顿的片段，不但省时间，还能减少幻觉内容。很多人的逐字稿里出现莫名其妙的乱码，往往就是因为没有开 VAD，模型在无语音片段里自己编了一堆话。

打印出来的每条文本都带了起始时间戳，这个时间戳后面会被大模型用来做章节定位，非常有用。请务必保留，不要只输出纯文本。

3.4 让大模型把逐字稿整理成讲义

得到带时间戳的逐字稿之后，下一步就是让大模型扮演“课程内容编辑”。你可以用本地 Ollama、vLLM，也可以是任何云端大模型接口。这里的关键不是工具，而是提示词写得好不好。

我常用的提示词模板大概是这样的：

你是一名课程笔记整理助手。下面是某节课的语音转写文本，按时间戳分段给出。 请完成以下任务： 1. 输出课程主题和一句话摘要； 2. 按照课程逻辑整理成讲义正文，使用 Markdown 标题分层，章节不超过四级； 3. 保留关键定义、公式、代码块、案例和重要结论，不要遗漏； 4. 在重要知识点后标注对应的视频时间点，格式为（mm:ss）； 5. 整理完毕后，最后给出3个与课程内容相关的思考题； 6. 不要编造课程中没有出现的内容。 下面是转写文本： [贴入逐字稿]

这个提示词看起来简单，但每一句都有用途。让模型输出“一句话摘要”，是为了复读和快速回顾；要求“保留关键定义、公式、代码块”，是因为大模型默认会做压缩，你不强调，它很可能把最重要的细节删掉；要求“不要编造课程中没有出现的内容”，是为了尽量压制大模型的幻觉。

逐字稿如果太长，不能一次性全塞进模型。我的做法是：先把逐字稿按 3000 到 5000 字切段，每段先让模型做小范围整理，生成“分段笔记”，然后把前一段的摘要作为上下文传给下一段，最后再做一次全局合并。这种“分层摘要”方式虽然多花几次调用，但能有效避免模型到后面忘了前面内容。

如果你用的是本地大模型，建议选 7B 到 14B 参数的量化版本，比如 Qwen 系列开源模型，显存不足就选更小的量化等级。跑一条 40 分钟课程，本地模型一般需要几分钟到十几分钟，耐心等就行。

3.5 导出成 Markdown 和 Word

大模型整理出来的讲义默认是 Markdown 格式。Markdown 很适合进 Obsidian、Notion 这类笔记软件，但如果你需要交作业、打印、发给同学，通常会想要 Word 或 PDF。

最简单的方案是用 Pandoc 转换。安装 Pandoc 之后，一条命令就能把 Markdown 变成 Word：

pandoc output.md -o output.docx

如果对 Word 样式有要求，可以准备一个reference.docx作为模板，然后用：

pandoc output.md --reference-doc=reference.docx -o output.docx

这一步看起来简单，但我建议一定要在导出前检查 Markdown 的标题层级是否合理。大模型输出的标题有时会跳级，比如直接出现###下面接#####，Pandoc 转换时不会报错，但 Word 里的目录结构会乱七八糟。

4. 翻车实录：常见问题与排查方法

4.1 专业名词被识别成同音字

这是语音转文字阶段最大的坑。课程里的“梯度下降”可能被识别成“提督下降”，“神经网络”变成“神机网络”，如果老师英文发音夹在中文里，更容易被模型写错。

解决方案有三层。第一层，在initial_prompt里明确告诉模型“接下来会遇到哪些专业术语”，把课程涉及的核心词汇预先塞进去。第二层，在脚本里做后处理替换，维护一个“错误写法 -> 正确写法”的映射表，批量替换。第三层，如果某门课术语很多，可以先用小模型跑一遍，把常见的错误词收集出来，再作为提示词喂给大模型重新整理。

4.2 视频太长，显存直接爆掉

一小时以上的视频，如果一次性转写，哪怕 VAD 过滤了静音，也可能在长音频处理过程中把显存和内存吃满。我遇到过的现象是跑到一半进程直接被系统杀掉，连报错都没有。

解决思路是分块。faster-whisper 本身支持chunk_length和batch_size参数，可以把长音频切成固定秒数的片段来处理，比如chunk_length=30表示每 30 秒一个批次。再加上 VAD 过滤，一般就不会爆显存。如果还是不行，就手动用 FFmpeg 切分音频，每段不超过 20 分钟，转完再用脚本拼接结果，时间戳自动累加即可。

4.3 大模型总结时会漏重点甚至胡说

大模型的“概括”能力是把双刃剑。它的默认倾向是“用更少的字表达更多内容”，但这个过程中往往会丢细节。最典型的场景是：老师在课程里花了三分钟推导一个公式，大模型可能一句话就带过，公式甚至被简化得面目全非。

应对办法是调整提示词，明确要求“原样保留公式推导过程中的每一步”。另一个办法是不要把长文本一次性丢给大模型，而是先按知识点切片，每个知识点单独整理，最后再合并。如果发现模型确实在编造内容，例如添加了课程中没有的例子，可以把温度参数调低，或者加一句“只能基于给定文本输出，禁止补充额外信息”。

4.4 导出的 Word 排版混乱

Word 排版问题多半出在 Markdown 层级和表格处理上。大模型输出的表格有时列数不齐，Pandoc 转换时会生成奇怪的嵌套表；标题如果跳级，目录也会跟着乱。

我的经验是：先用一个不带任何特殊表格的短文本测试 Pandoc 转换流程，确认标题、列表、代码块、引用这些基本元素都正常，再处理正式的完整讲义。正式转换前，再用脚本做一次“标题层级规整”，把####以下的标题都向上重排，保证最多不超过四级。这样导出的 Word 就基本能直接用了。

4.5 讲义内容和视频时间点对不上

如果你在提示词里要求模型标时间戳，它可能标得不准，尤其是长文本合并之后，模型对时间顺序的感知会变差。比如它可能把第 20 分钟的内容标成第 3 分钟。

解决办法是我在整理阶段会二次校验：让模型输出时保留原逐字稿中的段落编号，标注“这是原文第几段”，然后把段落编号和时间戳的对应关系在脚本里映射。这样即使模型自己写的时间点有偏差，最终落到讲义里的时间戳也是从逐字稿里直接带出来的，准确率会高很多。

我把这些坑整理成一张速查表，方便你对照排查：

5. 进阶玩法：一份讲义还能再榨出多少价值

5.1 从讲义反向生成思维导图和复习卡片

讲义生成之后，别急着关电脑。大模型最擅长的就是在这个基础上二次加工。你可以让模型“把这份讲义转成一个 MindMap 文本”，再导入 XMind 或 Markmap，就能生成一张课程知识结构图。复习的时候看思维导图，比重新看一遍视频高效得多。

更实用的是生成 Anki 卡片。把讲义里“定义”“公式”“概念区分”等内容抽取成“问题 -> 答案”的格式，直接导入 Anki，自动变成记忆卡片。这样每次上课一小时，课后五分钟就能把当天的知识点变成自己的记忆库，考前刷卡片特别香。

5.2 英文课程也能做双语讲义

语音识别模型对英文的支持相当好。如果你在听英文网课，可以先按同样流程转写成英文逐字稿，再让大模型生成“中英对照讲义”。这样一方面能保留原始英文术语，避免翻译失真，另一方面中文注释能帮你快速理解。

我实践下来的做法是：先让模型输出一个三列表格，第一列是视频时间戳，第二列是英文原文要点，第三列是中文翻译。然后再把表格展开成讲义正文。这个过程要注意，法律、医学、计算机这些领域的英文术语不能随便翻译，最好在大模型提示词里说明“保留英文原词，中文注释用括号补充”。

5.3 批量处理：把一门课的所有视频一次跑完

如果你已经跑通单条视频，下一步就是把脚本固化，批量处理整门课程。流程并不复杂：写一个 Python 脚本遍历文件夹里的所有.mp4文件，依次执行“抽音频 -> 转文字 -> 清洗 -> 大模型整理 -> 导出 Markdown”，最后把全部讲义合并成一本课程手册。

我在批量处理时踩过一个坑：课程视频的文件名不规范，导致讲义标题全乱。建议一开始就给文件名编号，比如01-课程介绍.mp4、02-线性回归.mp4，这样输出的 Markdown 文件名和讲义标题会自动保持顺序。批量跑之前，先拿两三个不同风格的视频试跑，确认参数稳定，再挂机跑全量。

整套流程跑通之后，你会发现“看视频记笔记”这件事的负担会大大降低。我现在的习惯是：白天听课随手拍视频，晚上让 AI 自动生成讲义，第二天早上花十分钟把讲义里不懂的地方对照时间戳回看原视频。以前一门课复习完要反复拖进度条，现在基本变成一个“读文档 + 定向看视频”的过程，学习精力也能更集中在真正不懂的难点上。

最后再分享一个小技巧：不要一开始就去追求完美讲义。第一次跑通流程，哪怕出来的文档很粗糙，也先接受它。因为一旦你有了可编辑的文本，后续的修改、润色、补漏都只是时间问题；而如果没有这份文本，所有工作都得从零开始。先把“视频变文字”这一步跑通，你已经赢过一大半还没开始的人了。