Instant4D: Splatting Gaussiano 4D em Minutos

Instant4D: 4D Gaussian Splatting in Minutes

October 1, 2025

Autores: Zhanpeng Luo, Haoxi Ran, Li Lu

cs.AI

Resumo

A síntese dinâmica de visão tem apresentado avanços significativos, mas a reconstrução de cenas a partir de vídeos casuais e não calibrados continua desafiadora devido à otimização lenta e à estimativa complexa de parâmetros. Neste trabalho, apresentamos o Instant4D, um sistema de reconstrução monocular que aproveita uma representação nativa 4D para processar eficientemente sequências de vídeo casuais em minutos, sem a necessidade de câmeras calibradas ou sensores de profundidade. Nosso método começa com a recuperação geométrica por meio de SLAM visual profundo, seguida pela poda de grade para otimizar a representação da cena. Nosso projeto reduz significativamente a redundância enquanto mantém a integridade geométrica, diminuindo o tamanho do modelo para menos de 10% de sua dimensão original. Para lidar com a dinâmica temporal de forma eficiente, introduzimos uma representação simplificada de Gaussianas 4D, alcançando uma aceleração de 30x e reduzindo o tempo de treinamento para menos de dois minutos, mantendo um desempenho competitivo em vários benchmarks. Nosso método reconstrói um único vídeo em até 10 minutos no conjunto de dados Dycheck ou para um vídeo típico de 200 quadros. Aplicamos ainda nosso modelo a vídeos capturados em cenários reais, demonstrando sua generalizabilidade. O site do nosso projeto está publicado em https://instant4d.github.io/.

English

Dynamic view synthesis has seen significant advances, yet reconstructing scenes from uncalibrated, casual video remains challenging due to slow optimization and complex parameter estimation. In this work, we present Instant4D, a monocular reconstruction system that leverages native 4D representation to efficiently process casual video sequences within minutes, without calibrated cameras or depth sensors. Our method begins with geometric recovery through deep visual SLAM, followed by grid pruning to optimize scene representation. Our design significantly reduces redundancy while maintaining geometric integrity, cutting model size to under 10% of its original footprint. To handle temporal dynamics efficiently, we introduce a streamlined 4D Gaussian representation, achieving a 30x speed-up and reducing training time to within two minutes, while maintaining competitive performance across several benchmarks. Our method reconstruct a single video within 10 minutes on the Dycheck dataset or for a typical 200-frame video. We further apply our model to in-the-wild videos, showcasing its generalizability. Our project website is published at https://instant4d.github.io/.