news 2026/10/15 11:09:08

一个模型吃下 PDF、图表、录音和视频:腾讯优图开源 Youtu-Parsing-Omni,5B 参数把解析流水线打成一个 JSON

作者头像

张小明

前端开发工程师

1.2k 24
文章封面图
一个模型吃下 PDF、图表、录音和视频:腾讯优图开源 Youtu-Parsing-Omni,5B 参数把解析流水线打成一个 JSON

💡一句话总结:腾讯 Youtu 团队开源了 5B 参数的 Youtu-Parsing-Omni——一个模型吃下文档页、自然图像、图表、几何图、音频、音视频六类输入,统一吐出一份结构化 JSON(表格 OTSL、公式 LaTeX、流程图 Mermaid、语音带时间戳)。OmniDocBench v1.6 拿到 96.96,OmniParsingBench 75.08 居开源权重第一;权重和 vLLM 插件全开,但许可是自定义协议、明确不面向欧盟。

做过知识库的同行都懂那种痛:文档解析流水线像一支杂牌军——OCR 一个模型、表格识别一个模型、公式一个、ASR 一个、图表理解再一个。每个环节都引入误差,误差还在管道里层层传播,最后 RAG 检索质量差,你都不知道该修哪一环。

腾讯 Youtu 团队给出的新答案是:把这些全拆掉,换成一个模型。Youtu-Parsing-Omni 已经在 HuggingFace 开放权重,配套 vLLM 插件、任务提示、服务配置和推理示例,5B 的尺寸意味着单卡就能自部署。

想自己上手?

  • 🧠 模型权重:HuggingFace · tencent/Youtu-Parsing-Omni(附 OmniDocBench 评测代码)
  • 💻 代码与推理示例:GitHub · TencentCloudADP/youtu-parsing
  • 🖥️ 在线体验:HF Space · Tencent/Youtu-Parsing

🍱 一个模型,六种输入,一份 JSON

Youtu-Parsing-Omni 的核心设计就两条:共享全模态编码器+统一输出模式 OmniSchema。

输入侧不再按模态分家:文档页、自然图像、图表/流程图、几何图、音频片段、音视频,全部进同一个共享编码器。输出侧也不按任务分家:所有解析结果装进一份结构化 JSON 信封,覆盖两层——

  • 👁️感知层:版面元素、文字、表格、公式、边界框、时间戳、ASR 转写、OCR、声学事件、镜头运动;
  • 🧩认知层:caption 生成、叙述、结构化报告。

格式上也很讲究工程友好:表格用 OTSL、公式用 LaTeX、流程图直接给 Mermaid、语音转写带时间戳。要哪类输出由任务提示(--task参数)选择,不用换模型。

这个统一是有来历的:它的前作 Youtu-Parsing(Youtu-LLM-2B 底座 + NaViT 风格动态分辨率视觉编码器)已经在文档解析上验证过 OTSL 表格和 Mermaid 流程图这套输出约定,这次是沿着「文档解析 → 全模态解析」把版图扩了一整圈。

🏆 榜单成绩怎么读?

官方口径的两个数字:OmniDocBench v1.6 总分 96.96,OmniParsingBench 平均 75.08。

OmniDocBench 不是厂商自造的榜——它是 CVPR 2025 的公开学术基准,由上海 AI Lab OpenDataLab 维护,专门评真实场景下的文档解析,含端到端、版面检测、表格识别等多维标注,口径可信度较高。OmniParsingBench 上 75.08 是开源权重第一;有第三方转述称总榜仅次于 Gemini-3-Pro——这层坐标目前只见于一处转述,官方模型卡未给全表,读的时候留个心眼。

更合理的理解是:它不是「全榜最强」,而是**「可私有化的开源最优」**——75.08 对闭源旗舰仍有差距,但 5B 的尺寸换来自部署与成本可控,这笔账对私有化部署场景才算得过来。

🧰 给解析流水线开发者的三个提示

  • 📉架构简化是实打实的:单一模型、单一 schema,把原来五六个专项模型之间的格式适配和误差传播一次性收敛。评测代码随附开源,接自己的数据复现一遍就能判断成色。
  • ⚠️许可要先过法务:这不是标准开源协议,而是腾讯自定义许可——商用是有条件的,而且 LICENSE 原文明确写了「NOT INTENDED FOR USE WITHIN THE EUROPEAN UNION」(不面向欧盟)。做出海产品的,这条是硬约束。
  • 🔍音频/视频侧的细分指标还空着:目前第三方能转述的都是总分,六个模态各自的表现、尤其音视频任务的细节,要等社区评测补全——开源约一周,时间还早。

把话说完整:这次开源真正立住的,是「全模态统一解析」这个方向的完整工程样本——权重、插件、评测代码一应俱全,榜单口径经得起对照;待验证的是音视频侧的成色和许可边界的实际尺度。对被杂牌军流水线折磨的团队,最划算的一步是拿自己最脏的那批文档跑一遍评测脚本——数字好不好看,你的数据说了算。

版权声明: 本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若内容造成侵权/违法违规/事实不符,请联系邮箱:809451989@qq.com进行投诉反馈,一经查实,立即删除!
网站建设 2026/10/15 11:09:01

Codex 高效使用指南:任务描述与 Code Diff 检查实战

1. 为什么“会提问”比“会写代码”更影响 Codex 的产出质量用 Codex 这类编码 Agent 的人,大概都经历过两种极端:一种是随便丢一句“帮我修个 bug”,它给你改了三行代码,跑起来直接崩;另一种是把任务背景、约束、验收…

作者头像 李华
网站建设 2026/10/15 11:09:00

整数溢出攻防指南:从负数兑换到远程代码执行

有一次我审一个积分兑换系统的代码,业务方反馈说有人用负数积分换走了商品,系统结算时还倒贴了钱。查到最后,根因出在三行C代码上:一个 int 做减法时溢出了——这就是整数溢出。它大概是程序里最会“装无辜”的一类漏洞&#xf…

作者头像 李华
网站建设 2026/10/15 11:09:00

DeepSeek本地部署全攻略:从Ollama安装到Open WebUI图形界面

简介:这份资源是一份面向AI推理部署与深度学习开发者的DeepSeek模型本地化部署指南,适合具备一定软硬件基础、希望降低云服务成本并深入理解大模型底层机制的研究人员与工程师。内容围绕Ollama安装、按显存规模选择DeepSeek-R1参数量版本、Docker容器化与…

作者头像 李华
网站建设 2026/10/15 11:08:46

智能体操作真机:从感知决策到落地实践的技术拆解

1. 当智能体第一次摸到真机,它到底在摸什么很多人对"AI 智能体操作真机"这件事的第一反应是:不就是自动化脚本换了个壳吗?以前用 Appium、用 Playwright、用影刀,现在换成大模型来驱动,本质不还是点按钮、填…

作者头像 李华
网站建设 2026/10/15 11:08:45

AI智能体操作真机实战:ReAct模式、工具调用与安全边界全解析

1. AI 智能体操作真机这件事,到底走到哪一步了最近圈子里聊得最多的话题之一,就是 AI 智能体开始真正操作物理设备了。不是那种在沙盒里跑跑模拟、在网页上点两下按钮的“伪操作”,而是切切实实地控制机械臂、无人机、工业设备甚至手机真机。…

作者头像 李华