开发时间：2026.06.26 - 2026.07.02
本周主要工作：完成项目整体架构设计，打通 Pipeline 主流程，完成 ASR、视频分段、重复检测、脚本匹配等核心模块，为后续视频渲染做好准备。
一、本周开发进展
这周没有继续做最终的视频渲染，而是把更多时间放在了整个工程框架上。
刚开始做的时候，我以为重点应该放在去重算法或者字幕同步上，真正写下来以后才发现，真正影响开发效率的其实是整个 Pipeline 的设计。
如果数据流没有统一，后面每增加一个模块，就意味着前面的代码可能都要跟着改。
所以这周主要完成了两件事：
- 重新设计整个 Pipeline
- 重新整理整个 Job 数据结构
这也是后面所有模块能够独立开发的基础。
二、项目架构设计
整个视频剪辑智能体目前已经拆成了两个阶段。
第一阶段负责素材处理。
第二阶段负责分析、匹配以及最终生成视频。
整个流程如下。
从流程上来看，每一个模块只负责自己的任务。
例如：
- 视频信息读取不会负责 ASR
- ASR 不负责字幕
- Timeline 不负责渲染
所有模块之间全部通过 JSON 进行通信。
这样最大的好处就是：
任何一个模块出现问题，都可以单独重新运行，而不用重新执行整个 Pipeline。
三、Job 生命周期与数据组织
随着模块越来越多，我发现如果所有文件都放在一起，后面基本没办法维护。
于是重新设计了整个 Job 目录。
每一次运行都会创建一个新的 Job。
所有中间结果全部保存在对应目录。
整个目录按照功能进行了划分。
例如：
- input 保存原始素材
- transcript 保存 ASR 结果
- segments 保存视频片段
- timeline 保存最终时间轴
- output 保存最终结果
这样做最大的好处就是：
以后无论调试哪个模块，都能直接找到对应的数据，而不是重新跑完整个流程。
四、Timeline 核心调度设计
这是这一周改动最大的地方。
刚开始的时候，每个模块都在计算自己的时间。
字幕有自己的时间。
Render 有自己的时间。
播放器又重新计算了一遍。
虽然每一个模块看起来都没有问题，但是最终字幕总会出现轻微偏差。
后来干脆把 Timeline 独立出来。
以后所有模块全部读取 timeline.json。
整个系统开始变成：
现在：
- 字幕读取 Timeline
- Render 读取 Timeline
- Player 读取 Timeline
整个项目只有一个时间来源。
后面维护起来简单了很多。
五、脚本匹配模块开发
目前已经完成了脚本和视频片段的自动匹配。
每一句脚本都会计算自己的匹配得分。
最终选择得分最高的视频片段。
例如下面就是目前所有脚本的匹配结果。
可以看到，目前不同脚本之间的匹配质量差异还是比较明显。
有些已经可以达到比较高的匹配分。
但仍然有几句脚本匹配效果一般。
为了更加直观，又把所有匹配结果重新划分成了三个等级。
目前：
- 强匹配：1 个
- 可能匹配：3 个
- 低置信度：4 个
整体平均得分还存在进一步优化空间。
六、系统运行效果分析
为了方便后面继续调试，我又增加了一套综合诊断页面。
运行结束以后，可以直接看到整个 Pipeline 当前的运行状态。
包括：
- 平均匹配得分
- 问题严重程度
- 匹配等级分布
- 当前建议
相比以前只能查看日志，现在基本可以一眼看到整个项目当前的问题集中在哪。
调试效率提升了很多。
七、关键问题定位与修复
虽然整体流程已经能够正常运行，但调试过程中还是发现了一些比较明显的问题。
例如：
- Semantic 匹配正常。
- Fuzzy 匹配几乎全部失效。
- 部分脚本主题理解仍然不足。
- 候选片段之间区分度不够。
于是把这些问题重新整理成了一份诊断报告。
其中最明显的问题就是：
Fuzzy 匹配基本没有发挥作用。
于是又把 Semantic 和 Fuzzy 单独拆出来进行了分析。
从目前的数据来看：
Semantic 分支已经能够正常工作。
真正需要继续排查的是 Fuzzy 匹配链路。
后面准备继续定位这个问题。
八、匹配算法优化规划
目前虽然已经能够找到对应片段。
但是还有另外一个问题。
有些候选片段之间得分非常接近。
例如：
Top1 得分：
0.71
Top2 得分：
0.69
这种情况下，很容易选错视频。
于是又增加了一项新的分析。
如果 Top1 和 Top2 得分差距过小，就说明：
当前匹配还不够稳定。
后面会继续优化候选区分能力。
九、素材利用率分析
除了匹配准确率之外，我还比较关注另外一个问题。
就是素材到底有没有真正利用起来。
目前增加了素材利用率统计。
目前来看：
- 已使用素材约 43%
- 未使用素材约 57%
这说明还有不少素材没有参与最终剪辑。
后面可以继续优化片段选择策略，提高素材利用率，同时避免重复片段被频繁使用。
十、本周开发总结
这一周最大的感受就是：
真正花时间的并不是模型本身，而是整个工程的组织方式。
如果没有统一的数据结构，没有统一的时间轴，没有统一的 JSON 规范，那么后面每增加一个功能，都会不断返工。
目前整个 Pipeline 已经能够稳定完成：
- 视频读取
- 音频提取
- ASR
- 视频分段
- 重复检测
- 脚本匹配
- Timeline 构建
- 字幕映射
- 数据诊断
下一步会继续完善：
- Script Match 精度
- Timeline 调度策略
- 视频渲染模块
- AiPy 前端联调
争取尽快实现从输入素材到最终视频输出的完整自动化流程。
