4DGS360: 360°-Gauß-Rekonstruktion dynamischer Objekte aus einem einzelnen Video

4DGS360: 360° Gaussian Reconstruction of Dynamic Objects from a Single Video

March 23, 2026

Autoren: Jae Won Jang, Yeonjin Chang, Wonsik Shin, Juhwan Cho, Nojun Kwak

cs.AI

Zusammenfassung

Wir stellen 4DGS360 vor, ein diffusionsfreies Framework für die 360°-Rekonstruktion dynamischer Objekte aus gewöhnlichen Monokularvideos. Bestehende Methoden scheitern häufig an der Rekonstruktion einer konsistenten 360°-Geometrie, da ihre starke Abhängigkeit von 2D-basierten Priors dazu führt, dass die initialen Punkte an die sichtbare Oberfläche in jeder Trainingsansicht überanpassen. 4DGS360 adressiert diese Herausforderung durch eine fortschrittliche 3D-basierte Initialisierung, welche die geometrische Mehrdeutigkeit verdeckter Regionen abschwächt. Unser vorgeschlagener 3D-Tracker, AnchorTAP3D, erzeugt verstärkte 3D-Punkt-Trajektorien, indem er zuverlässige 2D-Trackpunkte als Ankerpunkte nutzt, Drift unterdrückt und eine zuverlässige Initialisierung bereitstellt, die die Geometrie in verdeckten Bereichen bewahrt. Diese Initialisierung, kombiniert mit Optimierung, ergibt kohärente 360°-4D-Rekonstruktionen. Wir stellen außerdem iPhone360 vor, einen neuen Benchmark, bei dem Testkameras bis zu 135° von den Trainingsansichten entfernt positioniert sind, was eine 360°-Evaluation ermöglicht, die bestehende Datensätze nicht bieten können. Experimente zeigen, dass 4DGS360 auf den iPhone360-, iPhone- und DAVIS-Datensätzen state-of-the-art Leistung erzielt, sowohl qualitativ als auch quantitativ.

English

We introduce 4DGS360, a diffusion-free framework for 360^{circ} dynamic object reconstruction from casual monocular video. Existing methods often fail to reconstruct consistent 360^{circ} geometry, as their heavy reliance on 2D-native priors causes initial points to overfit to visible surface in each training view. 4DGS360 addresses this challenge through a advanced 3D-native initialization that mitigates the geometric ambiguity of occluded regions. Our proposed 3D tracker, AnchorTAP3D, produces reinforced 3D point trajectories by leveraging confident 2D track points as anchors, suppressing drift and providing reliable initialization that preserves geometry in occluded regions. This initialization, combined with optimization, yields coherent 360^{circ} 4D reconstructions. We further present iPhone360, a new benchmark where test cameras are placed up to 135^{circ} apart from training views, enabling 360^{circ} evaluation that existing datasets cannot provide. Experiments show that 4DGS360 achieves state-of-the-art performance on the iPhone360, iPhone, and DAVIS datasets, both qualitatively and quantitatively.