news 2026/7/4 8:21:24

蚂蚁:高效多模态搜索智能体框架

作者头像

张小明

前端开发工程师

1.2k 24
文章封面图
蚂蚁:高效多模态搜索智能体框架

📖标题:SimpleSearch-VL: A Simple Recipe for Multimodal Agentic Deep Search
🌐来源:arXiv, 2606.31504v1

🛎️文章简介
🔸研究问题:如何解决现有多模态搜索智能体在训练效率、证据可靠性及系统实用性方面面临的瓶颈?
🔸主要贡献:论文提出SimpleSearch-VL框架,通过自适应采样、证据验证及自摘要机制,以极少数据实现媲美顶级闭源模型的性能。

📝重点思路
🔸提出因子化自适应Rollout(FAR)策略,将采样预算分解为提示扩展与Rollout分配两个维度,根据奖励信号动态调整,跳过冗余尾部样本并聚焦困难样本,显著提升RL训练效率。
🔸引入证据验证推理机制,在反向图搜返回结果中包含缩略图,强制模型在使用标题或URL前先进行视觉一致性校验,确保检索到的多模态证据真实可靠。
🔸采用目标导向的网页自摘要机制,由智能体自身根据查询目标提取网页关键信息,替代外部摘要模型,降低系统依赖并保持工具接口轻量化。
🔸构建高质量证据感知训练数据,利用大模型生成并审计工具交错轨迹,重写推理过程以显式包含验证步骤,仅用5K SFT和2K RL数据即可完成高效微调。

🔎分析总结
🔸SimpleSearch-VL-8B和30B-A3B变体在六个基准上平均得分分别提升15.8和16.0分,30B版本性能与Gemini-3-Pro相当,且8B版本超越多数开源30B模型。
🔸FAR策略在保持训练时间接近标准设置的同时,使平均分提升6.2分,有效缓解了长尾延迟问题并提高了困难样本的利用率。
🔸移除视觉缩略图验证导致性能平均下降约3分,证明显式视觉校验是多模态搜索可靠性的关键,而非仅仅是辅助元数据。
🔸自摘要机制比外部摘要器准确率更高且推理速度快28.5%,表明将网页理解内化于智能体中能更好适应特定搜索策略需求。
🔸相比OpenSearch-VL,本方法仅用七分之一的SFT数据和四分之一的RL数据即取得更优性能,证明优化采样与验证流程比单纯扩大数据规模更有效。

💡个人观点
论文通过FAR解决RL训练中的算力浪费痛点,利用缩略图验证填补了多模态检索的信任缺口,并以自摘要消除了外部模型依赖。

版权声明: 本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若内容造成侵权/违法违规/事实不符,请联系邮箱:809451989@qq.com进行投诉反馈,一经查实,立即删除!
网站建设 2026/7/4 8:21:05

数字孪生助力制造业全链路仿真优化的路径

​一、 设计阶段:虚拟样机替代物理试错二、 产线规划:布局与物流的动态寻优三、 生产运行:实时镜像与滚动调优四、 供应链协同:端到端的扰动模拟 五、 运维与迭代:基于孪生的持续改进

作者头像 李华
网站建设 2026/7/4 8:20:24

Offix数据模型设计最佳实践:从schema到生成代码的完整流程

Offix数据模型设计最佳实践:从schema到生成代码的完整流程 【免费下载链接】offix GraphQL Offline Client and Server 项目地址: https://gitcode.com/gh_mirrors/of/offix Offix作为GraphQL离线客户端和服务器解决方案,其数据模型设计直接影响应…

作者头像 李华
网站建设 2026/7/4 8:17:57

如何在10分钟内训练专业级AI语音转换模型:RVC完整指南

如何在10分钟内训练专业级AI语音转换模型&#xff1a;RVC完整指南 【免费下载链接】Retrieval-based-Voice-Conversion-WebUI Easily train a good VC model with voice data < 10 mins! 项目地址: https://gitcode.com/GitHub_Trending/re/Retrieval-based-Voice-Convers…

作者头像 李华
网站建设 2026/7/4 8:17:50

如何彻底解决PowerShell 7.5在Windows平台的启动崩溃:5步完整指南

如何彻底解决PowerShell 7.5在Windows平台的启动崩溃&#xff1a;5步完整指南 【免费下载链接】PowerShell PowerShell for every system! 项目地址: https://gitcode.com/GitHub_Trending/po/PowerShell PowerShell 7.5作为微软推出的跨平台命令行工具和自动化脚本引擎…

作者头像 李华
网站建设 2026/7/4 8:17:33

DeepSeek-V4:国产大模型从‘能用’到‘好用’的可用性革命

1. 这不是又一个“参数堆砌”的发布会&#xff0c;而是一次国产大模型认知范式的悄然迁移最近和几位做AI应用落地的朋友连着聊了三晚&#xff0c;每次收工都得把笔记本合上再打开——不是因为内容太多记不完&#xff0c;而是因为思路被反复刷新。我们聊的不是某个新出的SOTA榜单…

作者头像 李华
网站建设 2026/7/4 8:16:57

PyMiniRacer核心功能解析:最新ECMAScript支持与WebAssembly实战指南

PyMiniRacer核心功能解析&#xff1a;最新ECMAScript支持与WebAssembly实战指南 【免费下载链接】PyMiniRacer PyMiniRacer is a V8 bridge in Python. 项目地址: https://gitcode.com/gh_mirrors/py/PyMiniRacer PyMiniRacer是一个强大的Python V8桥接库&#xff0c;为…

作者头像 李华