如何用Skill Recorder的语音旁白功能:本地Whisper转写99种语言,让AI听懂你的工作意图
【免费下载链接】skill-recorderDesktop app that records your on-screen work session and uses the GitHub Copilot CLI to reconstruct it as an intent + ordered steps, then builds a reusable Skill or Automation for Microsoft Scout, Microsoft Copilot Cowork, or Copilot Studio.项目地址: https://gitcode.com/gh_mirrors/sk/skill-recorder
Skill Recorder 是一款桌面录屏工具,它不仅能录下你的鼠标点击和窗口切换,还支持语音旁白(Voice Narration)功能:你在干活时边说边录,应用会用本地 Whisper 模型把你的话转写成文字,支持99 种语言,全程离线完成。之后 AI 会把你的口语当作"意图说明书",把工作过程重构成清晰的目标 + 步骤清单,甚至变成一个可复用的 Skill。本文就是这份语音旁白功能的完整使用指南。
Skill Recorder 语音旁白是什么?为什么推荐你用
普通录屏只能看到"你点了什么",但看不到"你为什么这么点"。语音旁白正是补上这一环:
- 🎤边做边说:录音时你口头解释"现在我要把结果汇总到 Teams",AI 分析时优先参考这些原话
- 🌐99 种语言:中文、英文、日文、韩文、西语……都支持,完整清单见 common/narration.ts
- 🔒完全本地转写:Whisper 模型跑在你自己的电脑上,录音和转写文本不会上传(只有你主动点 Analyze 时才会把转写文本随分析一起发送)
- ⏱带时间戳:每段旁白都与录屏时间轴对齐,AI 能精确知道这句话对应哪一步操作
一键开启:3步配置语音旁白
第 1 步:找到 Narrate 开关
打开 Skill Recorder 的录制窗口,在红色录制按钮下方就是Narrate行。点击右侧的 ⚙️ 图标,会展开语言与麦克风设置面板,效果如下:
第 2 步:选择转写语言
在下拉框中选择你说话的语言,比如 Chinese(中文)。注意:语言必须和你实际说话的语言一致,Whisper 会按你选定的语言转写,不做翻译。默认语言是 English。
第 3 步:选择麦克风并开启
从麦克风下拉框里选一支顺手的(内置麦即可),打开 Narrate 开关。窗口底部的就绪检查项voice transcription会显示offline · multilingual,表示本地转写已可用。
💡 录音过程中可以随时在悬浮控制条上静音/取消静音或换麦克风,音频会按片段分开保存,互不干扰。
首次使用:自动下载约 252MB 的 Whisper 模型
第一次开启旁白时,应用会下载多语言 Whisper 模型(whisper-small的 int8 量化版,约252MB),下载有进度提示。模型缓存到应用数据目录后:
- ✅之后永久离线可用,断网也能转写
- ✅ 旧版英文专用模型会被自动清理,不用手动处理
相关逻辑在 electron/narration/whisper.ts 和 electron/narration/manager.ts,界面状态提示在 src/Recorder.tsx。
转写结果如何变成 AI 能懂的"意图"
停录后,流程会自动衔接,不需要你额外操作:
- 自动转写:只要会话里有录音、且还没有转写文本,点 Analyze 时应用会先转写再分析,规则见 electron/narration/analyze-gate.ts
- 智能过滤:纯静音段、Whisper 在噪音上"幻觉"出的套话(如 "thank you")会被丢弃,只保留真实语句,见 electron/narration/transcribe.ts
- 写入会话文件:转写结果以带时间戳的分段形式存为
narration.json - AI 优先采信:Copilot 分析时通过
get_narration工具读取旁白,并把它当作最直接的意图表述来命名和排序步骤,实现位于 electron/describer/tools.ts
转写完成后,会话库里会显示voice标记,右侧就是 AI 重建出的意图与步骤:
让旁白更有效的 4 个小技巧
| 技巧 | 说明 |
|---|---|
| 👁先说目的 | 开头讲一句"我要做什么",AI 的 Intent 会更准确 |
| 🧭切换时说动机 | "现在回到 Excel 是为了记录结果"比只说"回到 Excel"信息量大得多 |
| 🗣说关键参数 | 文件名、渠道名、账号名用嘴说出来,步骤描述会更具体 |
| 🔇别念敏感信息 | 密码、Token、API Key 不要说也不要显示在屏幕上,旁白同样会被分析使用 |
常见问题速答
Q:旁白录音会上传到云端吗?不会。录音、转写、模型推理全部在本地完成;只有你点击 Analyze 后,转写出的文本才会随分析数据发送给 Copilot。
Q:支持中文吗?会不会被翻译成英文?支持。你选什么语言就按什么语言转写,原文保留、不翻译。
Q:不想要旁白了怎么关?把 Narrate 开关关掉即可;已经录好的会话不受影响。
Q:旁白和屏幕录制冲突吗?完全不冲突,旁白是可选增强项,关着也能正常录屏。
从"边做边说"到"AI 听懂意图",Skill Recorder 的语音旁白功能让你只需自然地讲出工作目的,剩下的交给本地 Whisper 和 Copilot。装好应用、打开 Narrate,说第一句话试试吧 🎬
【免费下载链接】skill-recorderDesktop app that records your on-screen work session and uses the GitHub Copilot CLI to reconstruct it as an intent + ordered steps, then builds a reusable Skill or Automation for Microsoft Scout, Microsoft Copilot Cowork, or Copilot Studio.项目地址: https://gitcode.com/gh_mirrors/sk/skill-recorder
创作声明:本文部分内容由AI辅助生成(AIGC),仅供参考