SpectroMotion: Динамическая 3D реконструкция светоотражающих сцен

SpectroMotion: Dynamic 3D Reconstruction of Specular Scenes

October 22, 2024

Авторы: Cheng-De Fan, Chen-Wei Chang, Yi-Ruei Liu, Jie-Ying Lee, Jiun-Long Huang, Yu-Chee Tseng, Yu-Lun Liu

cs.AI

Аннотация

Мы представляем SpectroMotion, новый подход, который объединяет трехмерное гауссово сплетение (3DGS) с физически основанным рендерингом (PBR) и полями деформации для реконструкции динамических отражающих сцен. Предыдущие методы расширения 3DGS для моделирования динамических сцен испытывали трудности с точным представлением отражающих поверхностей. Наш метод решает эту проблему путем введения техники коррекции остатков для точного вычисления нормали поверхности во время деформации, дополненной деформируемой картой окружения, которая адаптируется к изменяющимся условиям освещения. Мы реализуем стратегию обучения от грубого к точному, которая значительно улучшает как геометрию сцены, так и предсказание цвета отражений. Мы демонстрируем, что наша модель превосходит предыдущие методы для синтеза изображений сцен, содержащих динамические отражающие объекты, и что это единственный существующий метод 3DGS, способный синтезировать фотореалистичные динамические отражающие сцены реального мира, превосходящий современные методы в рендеринге сложных, динамических и отражающих сцен.

English

We present SpectroMotion, a novel approach that combines 3D Gaussian Splatting (3DGS) with physically-based rendering (PBR) and deformation fields to reconstruct dynamic specular scenes. Previous methods extending 3DGS to model dynamic scenes have struggled to accurately represent specular surfaces. Our method addresses this limitation by introducing a residual correction technique for accurate surface normal computation during deformation, complemented by a deformable environment map that adapts to time-varying lighting conditions. We implement a coarse-to-fine training strategy that significantly enhances both scene geometry and specular color prediction. We demonstrate that our model outperforms prior methods for view synthesis of scenes containing dynamic specular objects and that it is the only existing 3DGS method capable of synthesizing photorealistic real-world dynamic specular scenes, outperforming state-of-the-art methods in rendering complex, dynamic, and specular scenes.