SpectroMotion: Reconstrução 3D Dinâmica de Cenas Especulares

SpectroMotion: Dynamic 3D Reconstruction of Specular Scenes

October 22, 2024

Autores: Cheng-De Fan, Chen-Wei Chang, Yi-Ruei Liu, Jie-Ying Lee, Jiun-Long Huang, Yu-Chee Tseng, Yu-Lun Liu

cs.AI

Resumo

Apresentamos o SpectroMotion, uma abordagem inovadora que combina Splatting Gaussiano 3D (3DGS) com renderização baseada em física (PBR) e campos de deformação para reconstruir cenas especulares dinâmicas. Métodos anteriores que estendem o 3DGS para modelar cenas dinâmicas têm enfrentado dificuldades em representar com precisão superfícies especulares. Nosso método aborda essa limitação ao introduzir uma técnica de correção residual para o cálculo preciso da normal da superfície durante a deformação, complementada por um mapa de ambiente deformável que se adapta às condições de iluminação variáveis no tempo. Implementamos uma estratégia de treinamento de baixa para alta resolução que melhora significativamente tanto a geometria da cena quanto a previsão da cor especular. Demonstramos que nosso modelo supera os métodos anteriores para síntese de visualização de cenas contendo objetos especulares dinâmicos e que é o único método 3DGS existente capaz de sintetizar cenas especulares dinâmicas do mundo real fotorrealistas, superando os métodos de ponta na renderização de cenas complexas, dinâmicas e especulares.

English

We present SpectroMotion, a novel approach that combines 3D Gaussian Splatting (3DGS) with physically-based rendering (PBR) and deformation fields to reconstruct dynamic specular scenes. Previous methods extending 3DGS to model dynamic scenes have struggled to accurately represent specular surfaces. Our method addresses this limitation by introducing a residual correction technique for accurate surface normal computation during deformation, complemented by a deformable environment map that adapts to time-varying lighting conditions. We implement a coarse-to-fine training strategy that significantly enhances both scene geometry and specular color prediction. We demonstrate that our model outperforms prior methods for view synthesis of scenes containing dynamic specular objects and that it is the only existing 3DGS method capable of synthesizing photorealistic real-world dynamic specular scenes, outperforming state-of-the-art methods in rendering complex, dynamic, and specular scenes.