news 2026/7/3 12:36:09

实时 3D 场景重建新突破:LingBot-Map 前馈式模型,万帧视频秒变点云

作者头像

张小明

前端开发工程师

1.2k 24
文章封面图
实时 3D 场景重建新突破:LingBot-Map 前馈式模型,万帧视频秒变点云

一个前馈式 3D 基础模型,从流式数据实时重建场景——20 FPS 推理速度,10000+ 帧稳定输出,不依赖迭代优化。

这个项目解决什么问题?

传统 3D 场景重建需要先拍完所有照片或视频,然后用 COLMAP/NeRF 做离线优化——等几个小时甚至几天才能看到结果。LingBot-Map 换了一种思路:前馈式(feed-forward),看到一帧重建一帧,不需要回头优化。20 FPS 的推理速度让它可以处理超过 10000 帧的长视频序列,这在之前的前馈式模型里是做不到的。

核心亮点

Geometric Context Transformer(GCT):LingBot-Map 的核心架构,把三种能力统一到一个框架里:

  1. Anchor Context——锚点上下文,建立全局坐标基准
  2. Pose-Reference Window——姿态参考窗口,用相邻帧约束局部几何
  3. Trajectory Memory——轨迹记忆,长程漂移校正

Paged KV Cache Attention:借鉴了 LLM 推理的分页缓存思想,让模型在 10000+ 帧的长序列上保持稳定推理,不会因为序列过长而崩溃。

全流式推理:不需要 COLMAP 做预处理,不需要全局 BA 优化,模型看到每帧就输出该帧的深度和姿态。518×378 分辨率下 ~20 FPS。

快速上手

conda create-nlingbot-mappython=3.10-yconda activate lingbot-map pipinstalltorch==2.8.0torchvision==0.23.0 --index-url https://download.pytorch.org/whl/cu128 pipinstall-e.pipinstallflashinfer-python# 下载模型(HuggingFace)python demo.py--model_pathlingbot-map-long.pt\--image_folderexample/courthouse--mask_sky# 浏览器打开 http://localhost:8080 查看 3D 点云

我的评价

LingBot-Map 在学术上确实有突破——前馈式流式 3D 重建做到 20 FPS 和 10000+ 帧稳定输出。对比 DUSt3R 和 MASt3R 等同类工作,它在长序列上的表现明显更好。

但离实际落地还有距离。安装依赖链复杂(PyTorch 2.8.0 + FlashInfer + Kaolin),GPU 需求 24GB+ VRAM,而且目前只出了 demo 和论文,离"开箱即用"还差一个完整的应用层。如果你在做 3D 视觉研究,这个项目值得关注;如果你只是想拍个视频生成 3D 模型,建议再等等后续的封装版本。

版权声明: 本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若内容造成侵权/违法违规/事实不符,请联系邮箱:809451989@qq.com进行投诉反馈,一经查实,立即删除!
网站建设 2026/7/3 12:34:12

远程协助软件哪个好 手机怎么远程办公

日常外出通勤、户外办公时,常会遇到手机无法调取电脑文件、紧急工作无法处理的问题,比如地铁途中修改办公方案、休闲场所调取电脑素材,而远程协助软件可以完美化解这类办公难题,靠谱的远程协助工具是移动办公的核心助力&#xff0…

作者头像 李华
网站建设 2026/7/3 12:31:12

Fast-GitHub技术深度解析:浏览器扩展加速GitHub访问的技术实现

Fast-GitHub技术深度解析:浏览器扩展加速GitHub访问的技术实现 【免费下载链接】Fast-GitHub 国内Github下载很慢,用上了这个插件后,下载速度嗖嗖嗖的~! 项目地址: https://gitcode.com/gh_mirrors/fa/Fast-GitHub Fast-Gi…

作者头像 李华
网站建设 2026/7/3 12:30:25

实战指南:OpenSpeedy游戏加速引擎的完全使用方案

实战指南:OpenSpeedy游戏加速引擎的完全使用方案 【免费下载链接】OpenSpeedy 🎮 An open-source game speed modifier. 项目地址: https://gitcode.com/gh_mirrors/op/OpenSpeedy OpenSpeedy是一款开源的Windows游戏加速引擎,能够通过…

作者头像 李华
网站建设 2026/7/3 12:29:19

AI Agent安全攻防体系:OWASP、沙箱化与权限治理的工程落地

随着 AI Agent 从实验走向生产,安全问题正变得前所未有的重要。Agent 拥有调用工具、访问数据、执行代码、与外部系统交互的能力,一旦被攻击,可能造成数据泄露、权限越界、恶意操作甚至财产损失。2026 年,AI Agent 安全已经从&quo…

作者头像 李华
网站建设 2026/7/3 12:27:19

制药企业2026年智能化改造项目备案数据分析

2026年上半年,吉林省鑫辉药业有限公司连续完成多个项目的备案与审批,为制药企业智能化转型提供了可参考的案例数据。一、智能化改扩建工程(2026年2月备案)项目利用原有土地进行改扩建,分两期建设。一期改扩建约15713.1…

作者头像 李华