Instant4D: Representación 4D con Splatting Gaussiano en Minutos

Instant4D: 4D Gaussian Splatting in Minutes

October 1, 2025

Autores: Zhanpeng Luo, Haoxi Ran, Li Lu

cs.AI

Resumen

La síntesis de vistas dinámicas ha experimentado avances significativos, aunque la reconstrucción de escenas a partir de videos casuales no calibrados sigue siendo un desafío debido a la optimización lenta y la estimación compleja de parámetros. En este trabajo, presentamos Instant4D, un sistema de reconstrucción monocular que aprovecha una representación nativa 4D para procesar eficientemente secuencias de video casuales en cuestión de minutos, sin cámaras calibradas ni sensores de profundidad. Nuestro método comienza con la recuperación geométrica mediante SLAM visual profundo, seguido de una poda de la malla para optimizar la representación de la escena. Nuestro diseño reduce significativamente la redundancia mientras mantiene la integridad geométrica, reduciendo el tamaño del modelo a menos del 10% de su huella original. Para manejar eficientemente la dinámica temporal, introducimos una representación simplificada de Gaussianas 4D, logrando una aceleración de 30x y reduciendo el tiempo de entrenamiento a menos de dos minutos, manteniendo un rendimiento competitivo en varios benchmarks. Nuestro método reconstruye un solo video en menos de 10 minutos en el conjunto de datos Dycheck o para un video típico de 200 fotogramas. Además, aplicamos nuestro modelo a videos en entornos no controlados, demostrando su generalización. El sitio web de nuestro proyecto está disponible en https://instant4d.github.io/.

English

Dynamic view synthesis has seen significant advances, yet reconstructing scenes from uncalibrated, casual video remains challenging due to slow optimization and complex parameter estimation. In this work, we present Instant4D, a monocular reconstruction system that leverages native 4D representation to efficiently process casual video sequences within minutes, without calibrated cameras or depth sensors. Our method begins with geometric recovery through deep visual SLAM, followed by grid pruning to optimize scene representation. Our design significantly reduces redundancy while maintaining geometric integrity, cutting model size to under 10% of its original footprint. To handle temporal dynamics efficiently, we introduce a streamlined 4D Gaussian representation, achieving a 30x speed-up and reducing training time to within two minutes, while maintaining competitive performance across several benchmarks. Our method reconstruct a single video within 10 minutes on the Dycheck dataset or for a typical 200-frame video. We further apply our model to in-the-wild videos, showcasing its generalizability. Our project website is published at https://instant4d.github.io/.