スペクトロモーション：鏡面シーンの動的3D再構築

SpectroMotion: Dynamic 3D Reconstruction of Specular Scenes

October 22, 2024

著者: Cheng-De Fan, Chen-Wei Chang, Yi-Ruei Liu, Jie-Ying Lee, Jiun-Long Huang, Yu-Chee Tseng, Yu-Lun Liu

cs.AI

要旨

私たちは、3Dガウススプラッティング（3DGS）を物理ベースのレンダリング（PBR）および変形フィールドと組み合わせた新しい手法であるSpectroMotionを提案します。従来の3DGSを拡張して動的シーンをモデル化する方法は、光沢のある表面を正確に表現するのに苦労してきました。当手法は、変形中に正確な表面法線の計算を行うための残差補正技術を導入し、時間変動する照明条件に適応する変形可能な環境マップを補完することで、この制限に対処しています。私たちは、シーンのジオメトリと光沢の色の予測の両方を大幅に向上させるコースからファインなトレーニング戦略を実装しています。私たちのモデルが、動的な光沢オブジェクトを含むシーンのビュー合成において従来の手法を上回ること、および実世界の動的な光沢シーンを合成する唯一の既存の3DGS手法であり、複雑で動的で光沢のあるシーンのレンダリングにおいて最先端の手法を上回ることを示します。

English

We present SpectroMotion, a novel approach that combines 3D Gaussian Splatting (3DGS) with physically-based rendering (PBR) and deformation fields to reconstruct dynamic specular scenes. Previous methods extending 3DGS to model dynamic scenes have struggled to accurately represent specular surfaces. Our method addresses this limitation by introducing a residual correction technique for accurate surface normal computation during deformation, complemented by a deformable environment map that adapts to time-varying lighting conditions. We implement a coarse-to-fine training strategy that significantly enhances both scene geometry and specular color prediction. We demonstrate that our model outperforms prior methods for view synthesis of scenes containing dynamic specular objects and that it is the only existing 3DGS method capable of synthesizing photorealistic real-world dynamic specular scenes, outperforming state-of-the-art methods in rendering complex, dynamic, and specular scenes.