SpectroMotion: Reconstrucción Dinámica 3D de Escenas Especulares

SpectroMotion: Dynamic 3D Reconstruction of Specular Scenes

October 22, 2024

Autores: Cheng-De Fan, Chen-Wei Chang, Yi-Ruei Liu, Jie-Ying Lee, Jiun-Long Huang, Yu-Chee Tseng, Yu-Lun Liu

cs.AI

Resumen

Presentamos SpectroMotion, un enfoque novedoso que combina el Splatting Gaussiano 3D (3DGS) con renderizado basado en física (PBR) y campos de deformación para reconstruir escenas especulares dinámicas. Los métodos previos que ampliaron el 3DGS para modelar escenas dinámicas han tenido dificultades para representar con precisión superficies especulares. Nuestro método aborda esta limitación al introducir una técnica de corrección residual para el cálculo preciso de la normal de la superficie durante la deformación, complementada por un mapa de entorno deformable que se adapta a condiciones de iluminación variables en el tiempo. Implementamos una estrategia de entrenamiento de grueso a fino que mejora significativamente tanto la geometría de la escena como la predicción del color especular. Demostramos que nuestro modelo supera a los métodos anteriores para la síntesis de vistas de escenas que contienen objetos especulares dinámicos y que es el único método 3DGS existente capaz de sintetizar escenas especulares dinámicas del mundo real fotorrealistas, superando a los métodos de vanguardia en la representación de escenas complejas, dinámicas y especulares.

English

We present SpectroMotion, a novel approach that combines 3D Gaussian Splatting (3DGS) with physically-based rendering (PBR) and deformation fields to reconstruct dynamic specular scenes. Previous methods extending 3DGS to model dynamic scenes have struggled to accurately represent specular surfaces. Our method addresses this limitation by introducing a residual correction technique for accurate surface normal computation during deformation, complemented by a deformable environment map that adapts to time-varying lighting conditions. We implement a coarse-to-fine training strategy that significantly enhances both scene geometry and specular color prediction. We demonstrate that our model outperforms prior methods for view synthesis of scenes containing dynamic specular objects and that it is the only existing 3DGS method capable of synthesizing photorealistic real-world dynamic specular scenes, outperforming state-of-the-art methods in rendering complex, dynamic, and specular scenes.