SpectroMotion: Ricostruzione dinamica in 3D di scene speculari

SpectroMotion: Dynamic 3D Reconstruction of Specular Scenes

October 22, 2024

Autori: Cheng-De Fan, Chen-Wei Chang, Yi-Ruei Liu, Jie-Ying Lee, Jiun-Long Huang, Yu-Chee Tseng, Yu-Lun Liu

cs.AI

Abstract

Presentiamo SpectroMotion, un nuovo approccio che combina lo Splatting Gaussiano 3D (3DGS) con il rendering basato sulla fisica (PBR) e campi di deformazione per ricostruire scene speculari dinamiche. I metodi precedenti che estendono il 3DGS per modellare scene dinamiche hanno faticato a rappresentare accuratamente le superfici speculari. Il nostro metodo affronta questa limitazione introducendo una tecnica di correzione residua per il calcolo accurato della normale superficiale durante la deformazione, completata da una mappa ambientale deformabile che si adatta alle condizioni luminose variabili nel tempo. Implementiamo una strategia di addestramento da grezzo a fine che migliora significativamente sia la geometria della scena che la previsione del colore speculare. Dimostriamo che il nostro modello supera i metodi precedenti per la sintesi della vista di scene contenenti oggetti speculari dinamici e che è l'unico metodo 3DGS esistente in grado di sintetizzare scene speculari dinamiche del mondo reale fotorealistiche, superando i metodi all'avanguardia nel rendering di scene complesse, dinamiche e speculari.

English

We present SpectroMotion, a novel approach that combines 3D Gaussian Splatting (3DGS) with physically-based rendering (PBR) and deformation fields to reconstruct dynamic specular scenes. Previous methods extending 3DGS to model dynamic scenes have struggled to accurately represent specular surfaces. Our method addresses this limitation by introducing a residual correction technique for accurate surface normal computation during deformation, complemented by a deformable environment map that adapts to time-varying lighting conditions. We implement a coarse-to-fine training strategy that significantly enhances both scene geometry and specular color prediction. We demonstrate that our model outperforms prior methods for view synthesis of scenes containing dynamic specular objects and that it is the only existing 3DGS method capable of synthesizing photorealistic real-world dynamic specular scenes, outperforming state-of-the-art methods in rendering complex, dynamic, and specular scenes.