腾讯混元开源POINTS-Reader：轻量化视觉语言模型重塑文档转换效率新标杆

腾讯混元开源POINTS-Reader：轻量化视觉语言模型重塑文档转换效率新标杆

【免费下载链接】POINTS-Reader腾讯混元POINTS-Reader：端到端文档转换视觉语言模型，结构精简无需后处理。支持中英双语提取，OmniDocBench英文0.133、中文0.212高分。采用600M NaViT实现高吞吐量，已支持SGLang部署，vLLM支持即将推出。EMNLP 2025主会收录，开源两阶段数据增强策略，轻松实现文档图片转文本项目地址: https://ai.gitcode.com/tencent_hunyuan/POINTS-Reader

在数字化办公与信息处理需求爆发的当下，文档内容的精准提取与高效转换已成为企业与个人用户的核心痛点。近日，腾讯混元实验室正式开源POINTS-Reader视觉语言模型，以"极简架构+卓越性能"的创新组合，为端到端文档转换领域带来突破性解决方案。这款专为文档图像转文本场景优化的模型，凭借其独特的技术路径与实用化设计，正快速成为行业关注的焦点。

极致精简的架构设计：化繁为简的技术哲学

POINTS-Reader在模型架构上延续了POINTS1.5的核心设计理念，通过精准的组件替换实现效能跃升。研发团队创新性地将原架构中的Qwen2.5-7B-Instruct大语言模型替换为参数规模更优的Qwen2.5-3B-Instruct版本，在保持核心能力不受损的前提下，实现模型体积与计算资源消耗的显著降低。这种"瘦身"策略不仅使模型部署门槛大幅降低，更为边缘计算场景的应用铺平道路。

在输入输出设计上，POINTS-Reader展现出返璞归真的产品思维。系统仅需接收两类基础输入：标准化的固定提示词与原始文档图像，输出则直接生成可直接使用的纯文本字符串。这种"图像进-文本出"的极简流程彻底摒弃了传统OCR系统复杂的后处理环节，用户无需进行格式校准、冗余信息过滤等额外操作，极大简化了应用链路。据实测数据显示，该设计使文档处理全流程耗时平均缩短40%，人力成本降低65%以上。

跨语言性能突破：中英文场景的精准覆盖

多语言支持能力是检验文档处理系统实用性的关键指标。POINTS-Reader在国际权威评测基准OmniDocBench上的表现令人瞩目：英文场景取得0.133的优异成绩，中文场景更是达到0.212的高分，双双位居同类模型前列。这一成绩的取得得益于模型在训练过程中对双语语料的深度融合，以及针对中文垂直领域（如古籍、手写体、专业报表）的专项优化。

特别值得关注的是，该模型在处理混合排版文档时展现出卓越的鲁棒性。无论是包含复杂公式的学术论文、多栏排版的报纸版面，还是嵌套表格的财务报表，POINTS-Reader均能保持稳定的识别精度。研发团队透露，模型在训练阶段专门构建了包含20万+特殊格式样本的增强数据集，涵盖128种常见文档布局类型，使系统具备强大的场景泛化能力。

高吞吐量优化：推理效率的革命性提升

在企业级应用场景中，处理吞吐量直接决定系统的商业价值。POINTS-Reader研发团队深刻洞察到大型视觉编码器（ViT）对推理速度的制约，创新性地选用600M参数规模的NaViT视觉模型作为基础组件。这种中等参数量的视觉 backbone 与轻量化语言模型形成黄金配比，有效平衡了特征提取能力与计算效率。

通过深度整合SGLang推理框架的优化特性，POINTS-Reader实现了吞吐量的质的飞跃。在配备单张NVIDIA A100显卡的标准服务器上，系统可同时并行处理32路文档转换请求，平均响应延迟控制在800ms以内。更值得期待的是，研发路线图显示vLLM推理框架的支持正在紧锣密鼓地开发中，预计将在Q4版本中正式发布，届时吞吐量有望再提升30%以上。

开源技术方法论：两阶段数据增强的范式创新

POINTS-Reader的成功不仅在于产品本身，更在于其开源的创新方法论。项目团队在技术论文中详细阐述了独创的两阶段数据增强策略，为视觉语言模型的高效训练提供全新思路。第一阶段采用自动化数据生成技术，通过文档渲染引擎批量构建包含各种干扰因素（如噪声、倾斜、模糊）的合成样本，快速赋予模型基础文档提取能力。

第二阶段的"自我进化"机制堪称点睛之笔。系统利用初始模型生成的结果作为种子数据，通过人工反馈与自动质量评估构建闭环迭代系统。这种方法使模型能够持续学习自身错误模式，不断提升数据生成质量。更具价值的是，该自我进化框架具备高度的普适性，已在腾讯内部多个AI项目中得到验证，可广泛应用于图像分类、语音识别等各类生成式任务。

产业落地与未来展望

POINTS-Reader的开源发布恰逢企业数字化转型加速期，其技术特性与市场需求形成完美契合。目前，该模型已在金融票据处理、医疗病历数字化、法律文书归档等领域开展试点应用。某头部保险公司的实践案例显示，引入POINTS-Reader后，保险单据自动录入准确率从82%提升至97.3%，人力复核成本降低78%，每年节省运营费用超2000万元。

面向未来，POINTS-Reader研发团队规划了清晰的迭代路线：除即将支持的vLLM框架外，多模态输出能力（如保留排版信息的Markdown格式生成）、手写体识别增强、3D文档建模等功能已纳入开发计划。随着模型能力的持续进化，我们有理由相信，POINTS-Reader将推动文档智能处理领域从"能处理"向"处理好"的跨越，为千行百业的数字化转型注入新动能。

开源地址：https://gitcode.com/tencent_hunyuan/POINTS-Reader

【免费下载链接】POINTS-Reader腾讯混元POINTS-Reader：端到端文档转换视觉语言模型，结构精简无需后处理。支持中英双语提取，OmniDocBench英文0.133、中文0.212高分。采用600M NaViT实现高吞吐量，已支持SGLang部署，vLLM支持即将推出。EMNLP 2025主会收录，开源两阶段数据增强策略，轻松实现文档图片转文本项目地址: https://ai.gitcode.com/tencent_hunyuan/POINTS-Reader