Instant4D: Splatting Gaussiano 4D in pochi minuti

Instant4D: 4D Gaussian Splatting in Minutes

October 1, 2025

Autori: Zhanpeng Luo, Haoxi Ran, Li Lu

cs.AI

Abstract

La sintesi dinamica di viste ha registrato progressi significativi, ma la ricostruzione di scene da video casuali e non calibrati rimane una sfida a causa dell'ottimizzazione lenta e della complessa stima dei parametri. In questo lavoro, presentiamo Instant4D, un sistema di ricostruzione monoculare che sfrutta una rappresentazione 4D nativa per elaborare in modo efficiente sequenze video casuali in pochi minuti, senza l'uso di telecamere calibrate o sensori di profondità. Il nostro metodo inizia con il recupero geometrico tramite SLAM visivo profondo, seguito da una potatura della griglia per ottimizzare la rappresentazione della scena. Il nostro design riduce significativamente la ridondanza mantenendo l'integrità geometrica, riducendo le dimensioni del modello a meno del 10% della sua dimensione originale. Per gestire in modo efficiente le dinamiche temporali, introduciamo una rappresentazione 4D semplificata basata su Gaussiane, ottenendo un'accelerazione di 30x e riducendo il tempo di addestramento a meno di due minuti, mantenendo prestazioni competitive su diversi benchmark. Il nostro metodo ricostruisce un singolo video in meno di 10 minuti sul dataset Dycheck o per un tipico video di 200 frame. Appliciamo ulteriormente il nostro modello a video in contesti reali, dimostrandone la generalizzabilità. Il sito web del progetto è pubblicato all'indirizzo https://instant4d.github.io/.

English

Dynamic view synthesis has seen significant advances, yet reconstructing scenes from uncalibrated, casual video remains challenging due to slow optimization and complex parameter estimation. In this work, we present Instant4D, a monocular reconstruction system that leverages native 4D representation to efficiently process casual video sequences within minutes, without calibrated cameras or depth sensors. Our method begins with geometric recovery through deep visual SLAM, followed by grid pruning to optimize scene representation. Our design significantly reduces redundancy while maintaining geometric integrity, cutting model size to under 10% of its original footprint. To handle temporal dynamics efficiently, we introduce a streamlined 4D Gaussian representation, achieving a 30x speed-up and reducing training time to within two minutes, while maintaining competitive performance across several benchmarks. Our method reconstruct a single video within 10 minutes on the Dycheck dataset or for a typical 200-frame video. We further apply our model to in-the-wild videos, showcasing its generalizability. Our project website is published at https://instant4d.github.io/.