💡一句话总结:腾讯 Youtu 团队开源了 5B 参数的 Youtu-Parsing-Omni——一个模型吃下文档页、自然图像、图表、几何图、音频、音视频六类输入,统一吐出一份结构化 JSON(表格 OTSL、公式 LaTeX、流程图 Mermaid、语音带时间戳)。OmniDocBench v1.6 拿到 96.96,OmniParsingBench 75.08 居开源权重第一;权重和 vLLM 插件全开,但许可是自定义协议、明确不面向欧盟。
做过知识库的同行都懂那种痛:文档解析流水线像一支杂牌军——OCR 一个模型、表格识别一个模型、公式一个、ASR 一个、图表理解再一个。每个环节都引入误差,误差还在管道里层层传播,最后 RAG 检索质量差,你都不知道该修哪一环。
腾讯 Youtu 团队给出的新答案是:把这些全拆掉,换成一个模型。Youtu-Parsing-Omni 已经在 HuggingFace 开放权重,配套 vLLM 插件、任务提示、服务配置和推理示例,5B 的尺寸意味着单卡就能自部署。
想自己上手?
- 🧠 模型权重:HuggingFace · tencent/Youtu-Parsing-Omni(附 OmniDocBench 评测代码)
- 💻 代码与推理示例:GitHub · TencentCloudADP/youtu-parsing
- 🖥️ 在线体验:HF Space · Tencent/Youtu-Parsing
🍱 一个模型,六种输入,一份 JSON
Youtu-Parsing-Omni 的核心设计就两条:共享全模态编码器+统一输出模式 OmniSchema。
输入侧不再按模态分家:文档页、自然图像、图表/流程图、几何图、音频片段、音视频,全部进同一个共享编码器。输出侧也不按任务分家:所有解析结果装进一份结构化 JSON 信封,覆盖两层——
- 👁️感知层:版面元素、文字、表格、公式、边界框、时间戳、ASR 转写、OCR、声学事件、镜头运动;
- 🧩认知层:caption 生成、叙述、结构化报告。
格式上也很讲究工程友好:表格用 OTSL、公式用 LaTeX、流程图直接给 Mermaid、语音转写带时间戳。要哪类输出由任务提示(--task参数)选择,不用换模型。
这个统一是有来历的:它的前作 Youtu-Parsing(Youtu-LLM-2B 底座 + NaViT 风格动态分辨率视觉编码器)已经在文档解析上验证过 OTSL 表格和 Mermaid 流程图这套输出约定,这次是沿着「文档解析 → 全模态解析」把版图扩了一整圈。
🏆 榜单成绩怎么读?
官方口径的两个数字:OmniDocBench v1.6 总分 96.96,OmniParsingBench 平均 75.08。
OmniDocBench 不是厂商自造的榜——它是 CVPR 2025 的公开学术基准,由上海 AI Lab OpenDataLab 维护,专门评真实场景下的文档解析,含端到端、版面检测、表格识别等多维标注,口径可信度较高。OmniParsingBench 上 75.08 是开源权重第一;有第三方转述称总榜仅次于 Gemini-3-Pro——这层坐标目前只见于一处转述,官方模型卡未给全表,读的时候留个心眼。
更合理的理解是:它不是「全榜最强」,而是**「可私有化的开源最优」**——75.08 对闭源旗舰仍有差距,但 5B 的尺寸换来自部署与成本可控,这笔账对私有化部署场景才算得过来。
🧰 给解析流水线开发者的三个提示
- 📉架构简化是实打实的:单一模型、单一 schema,把原来五六个专项模型之间的格式适配和误差传播一次性收敛。评测代码随附开源,接自己的数据复现一遍就能判断成色。
- ⚠️许可要先过法务:这不是标准开源协议,而是腾讯自定义许可——商用是有条件的,而且 LICENSE 原文明确写了「NOT INTENDED FOR USE WITHIN THE EUROPEAN UNION」(不面向欧盟)。做出海产品的,这条是硬约束。
- 🔍音频/视频侧的细分指标还空着:目前第三方能转述的都是总分,六个模态各自的表现、尤其音视频任务的细节,要等社区评测补全——开源约一周,时间还早。
把话说完整:这次开源真正立住的,是「全模态统一解析」这个方向的完整工程样本——权重、插件、评测代码一应俱全,榜单口径经得起对照;待验证的是音视频侧的成色和许可边界的实际尺度。对被杂牌军流水线折磨的团队,最划算的一步是拿自己最脏的那批文档跑一遍评测脚本——数字好不好看,你的数据说了算。