Gaussianes Salvajes: Splatting Gaussiano en 3D en la Naturaleza

WildGaussians: 3D Gaussian Splatting in the Wild

July 11, 2024

Autores: Jonas Kulhanek, Songyou Peng, Zuzana Kukelova, Marc Pollefeys, Torsten Sattler

cs.AI

Resumen

Si bien el campo de la reconstrucción de escenas 3D está dominado por NeRFs debido a su calidad fotorrealista, recientemente ha surgido el Splatting Gaussiano 3D (3DGS), que ofrece una calidad similar con velocidades de renderización en tiempo real. Sin embargo, ambos métodos destacan principalmente en escenas 3D bien controladas, mientras que los datos en entornos no controlados, caracterizados por oclusiones, objetos dinámicos e iluminación variable, siguen siendo desafiantes. Los NeRFs pueden adaptarse fácilmente a tales condiciones a través de vectores de incrustación por imagen, pero 3DGS tiene dificultades debido a su representación explícita y la falta de parámetros compartidos. Para abordar esto, presentamos WildGaussians, un enfoque novedoso para manejar oclusiones y cambios de apariencia con 3DGS. Al aprovechar las características robustas de DINO e integrar un módulo de modelado de apariencia dentro de 3DGS, nuestro método logra resultados de vanguardia. Demostramos que WildGaussians iguala la velocidad de renderización en tiempo real de 3DGS mientras supera tanto a 3DGS como a NeRF en el manejo de datos en entornos no controlados, todo dentro de un marco arquitectónico simple.

English

While the field of 3D scene reconstruction is dominated by NeRFs due to their photorealistic quality, 3D Gaussian Splatting (3DGS) has recently emerged, offering similar quality with real-time rendering speeds. However, both methods primarily excel with well-controlled 3D scenes, while in-the-wild data - characterized by occlusions, dynamic objects, and varying illumination - remains challenging. NeRFs can adapt to such conditions easily through per-image embedding vectors, but 3DGS struggles due to its explicit representation and lack of shared parameters. To address this, we introduce WildGaussians, a novel approach to handle occlusions and appearance changes with 3DGS. By leveraging robust DINO features and integrating an appearance modeling module within 3DGS, our method achieves state-of-the-art results. We demonstrate that WildGaussians matches the real-time rendering speed of 3DGS while surpassing both 3DGS and NeRF baselines in handling in-the-wild data, all within a simple architectural framework.