Instant4D: 4D гауссово сплаттинг за минуты

Instant4D: 4D Gaussian Splatting in Minutes

October 1, 2025

Авторы: Zhanpeng Luo, Haoxi Ran, Li Lu

cs.AI

Аннотация

Синтез динамических видов достиг значительных успехов, однако реконструкция сцен из некалиброванных, случайных видеозаписей остается сложной задачей из-за медленной оптимизации и сложной оценки параметров. В данной работе мы представляем Instant4D, систему монохромной реконструкции, которая использует нативное 4D-представление для эффективной обработки случайных видеопоследовательностей за считанные минуты, без необходимости в калиброванных камерах или датчиках глубины. Наш метод начинается с восстановления геометрии с помощью глубокого визуального SLAM, за которым следует оптимизация представления сцены через обрезку сетки. Наш подход значительно сокращает избыточность, сохраняя при этом геометрическую целостность, уменьшая размер модели до менее чем 10% от исходного. Для эффективной обработки временной динамики мы вводим упрощенное 4D-представление на основе гауссовских функций, достигая 30-кратного ускорения и сокращая время обучения до двух минут, при этом сохраняя конкурентоспособные результаты на нескольких бенчмарках. Наш метод реконструирует одно видео в течение 10 минут на наборе данных Dycheck или для типичного видео из 200 кадров. Мы также применяем нашу модель к видеозаписям в реальных условиях, демонстрируя ее универсальность. Наш проект доступен на сайте https://instant4d.github.io/.

English

Dynamic view synthesis has seen significant advances, yet reconstructing scenes from uncalibrated, casual video remains challenging due to slow optimization and complex parameter estimation. In this work, we present Instant4D, a monocular reconstruction system that leverages native 4D representation to efficiently process casual video sequences within minutes, without calibrated cameras or depth sensors. Our method begins with geometric recovery through deep visual SLAM, followed by grid pruning to optimize scene representation. Our design significantly reduces redundancy while maintaining geometric integrity, cutting model size to under 10% of its original footprint. To handle temporal dynamics efficiently, we introduce a streamlined 4D Gaussian representation, achieving a 30x speed-up and reducing training time to within two minutes, while maintaining competitive performance across several benchmarks. Our method reconstruct a single video within 10 minutes on the Dycheck dataset or for a typical 200-frame video. We further apply our model to in-the-wild videos, showcasing its generalizability. Our project website is published at https://instant4d.github.io/.