从NeRF到Relightable3DGaussian：实时点云重光照的5大技术突破与实现路线对比

从NeRF到Relightable3DGaussian：实时点云重光照的5大技术突破与实现路线对比

【免费下载链接】Relightable3DGaussian[ECCV2024] Relightable 3D Gaussian: Real-time Point Cloud Relighting with BRDF Decomposition and Ray Tracing项目地址: https://gitcode.com/gh_mirrors/re/Relightable3DGaussian

Relightable3DGaussian 是一个开源的实时点云重光照项目：它把 3D Gaussian Splatting（3D高斯泼溅）与 BRDF 材质分解、光线追踪结合起来，让你只需几轮训练，就能对点云场景进行实时换光、换材质、多物体合成。相比 NeRF 动辄几分钟渲染一帧，它可以在 RTX 3090 上以交互帧率输出带阴影的重光照画面。本文对比两者的实现路线，并拆解 5 个核心技术突破，帮助新手快速上手。

为什么从 NeRF 转向 Relightable3DGaussian？

NeRF 用隐式神经网络表示场景，重光照效果好，但渲染一帧需要沿每条光线积分网络，速度极慢；而且场景是"黑盒"，无法直接做物体级合成。Relightable3DGaussian 选择了显式点云（3D 高斯）表示，带来三个关键优势：

5大技术突破拆解

突破1：BRDF 材质分解，把颜色拆成"可换光"的属性

普通高斯泼溅只学"颜色"，换光必然翻车。本项目让每个高斯额外携带base color（反照率）、metallic（金属度）、roughness（粗糙度）三个 PBR 属性，训练时用物理渲染方程把它们解耦出来。渲染时只要替换光照，材质保持不变，就能得到合理的重光照结果。

核心属性定义在 scene/gaussian_model.py 中（get_base_color、get_metallic、get_roughness），物理渲染方程的 CUDA 实现见 r3dg-rasterization/render_equation.cu。

突破2：球谐函数（SH）表示逐点入射光，支持无环境图重光照

场景中每个高斯点还带有一组入射光球谐系数（incidents_shs）和可见性球谐系数（visibility_shs）。它们记录了训练时"每个点从各个方向能看到的光"，使项目在推理阶段可以：

• 有 HDR 环境图时：直接采样环境光重光照（scene/envmap.py 实现direct_light采样）；
• 没有环境图时：靠逐点入射光 SH 近似原光照，或用 scene/derect_light_sh.py 中的全局DirectLightEnv学一个全局环境光做正则化。

突破3：BVH 光线追踪，实时算出精确阴影

重光照最难的是阴影：换一扇窗户的位置，物体背光面就该变暗。项目自带一套 PyTorch 绑定的Gaussian-BVH模块（bvh/，见 bvh/README.md），为点云构建 BVH 加速结构，再沿光照方向发射射线求遮挡。合成场景中通过 relighting.py 调用RayTracer更新可见性，即可得到带自阴影的重光照视频。

突破4：可见性微调，让"阴影"可学习

训练后期开启--finetune_visibility，冻结材质、单独优化可见性 SH，使阴影边界更贴合真实光照。推理时还可用update_visibility对新组合场景做一次 1000 步的可见性精修（bake），这一步保证了多物体合成后阴影依然正确。

突破5：显式点云天然支持多物体合成

因为是显式点云，把多个训练好的场景加载、加刚体变换、合并成一个GaussianModel即可（见 relighting.py 中的scene_composition）。官方提供了configs/teaser、configs/nerf_syn、configs/tnt等现成配置（transform.json 中定义每个物体的 4x4 变换矩阵），换一张 HDR 就能渲染出整个新场景的重光照视频。

上图是项目内置的海洋 HDR 环境图（env_map/ocean_from_horn.jpg），用于 Tanks & Temples 多场景合成的重光照演示。

训练与重光照的完整实现路线

整个流程分三步，脚本齐全，照着跑即可：

第一步：训练 3DGS 基础模型（几何 + 颜色）

python train.py -s <数据路径> -m <输出路径>/3dgs --lambda_depth 1 --save_training_vis

第二步：训练 Relightable3DGaussian（PBR 分解 + 可见性）

python train.py -s <数据路径> -m <输出路径>/neilf -c <3dgs检查点> -t neilf \ --lambda_light 0.01 --lambda_base_color 0.005 --lambda_visibility 0.1 --finetune_visibility

第三步：换环境光渲染重光照视频

python relighting.py -co configs/tnt -e env_map/ocean_from_horn.jpg \ --output output/relighting/tnt --sample_num 384 --video

常用一键脚本：script/run_nerf.sh（NeRF-Syn 数据集）、script/run_dtu.sh（DTU 真实数据）、script/run_tnt.sh（Tanks & Temples）、script/relighting.sh（重光照渲染）。训练环境定义在 environment.yml，需要 CUDA 11.8 编译三个 PyTorch 扩展：submodules/simple-knn、bvh、r3dg-rasterization。想边训边看，加--gui参数，或用 gui.py 可视化：

python gui.py -m output/NeRF_Syn/lego/neilf -t neilf

快速上手：安装与环境配置

git clone https://gitcode.com/gh_mirrors/re/Relightable3DGaussian cd Relightable3DGaussian conda env create --file environment.yml conda activate r3dg # 三个 CUDA 扩展（建议 CUDA 11.8 编译） pip install ./submodules/simple-knn pip install ./bvh pip install ./r3dg-rasterization

数据准备支持三类：NeRF-Syn 合成数据集、预处理好的 DTU 与 Tanks & Temples（需深度图、法线图与前景掩码）。自己的数据可走 vismvsnet/ 目录下的 Vis-MVSNet 流程（sh run_pre.sh）提取深度线索，细节见该目录 vismvsnet/README.md。

总结：三条路线怎么选

如果你是刚接触神经渲染的新手，建议按"3DGS 训练 → neilf 训练 → relighting 渲染"三步走通一遍，再阅读 gaussian_renderer/neilf.py 的渲染管线和 r3dg-rasterization/ 的 CUDA 光栅化源码，即可完整掌握实时点云重光照的实现全貌。

【免费下载链接】Relightable3DGaussian[ECCV2024] Relightable 3D Gaussian: Real-time Point Cloud Relighting with BRDF Decomposition and Ray Tracing项目地址: https://gitcode.com/gh_mirrors/re/Relightable3DGaussian