Lift4D: Harmonisierung der Einzelansichts-3D-Schätzung für die 4D-Rekonstruktion in freier Wildbahn

Zusammenfassung

Die Rekonstruktion dynamischer nicht-starrer Objekte aus monokularen Videos erfordert die Integration visueller Hinweise aus direkten Beobachtungen mit datengesteuerten Prioris über Geometrie und Erscheinungsbild. Bisherige Ansätze lernen entweder, 4D-Repräsentationen direkt aus visuellen Eingaben vorherzusagen, oder initialisieren eine 3D-Repräsentation, die anschließend basierend auf Videobeweisen deformiert und verfeinert wird. Ersteres wird jedoch durch die Knappheit an 4D-Trainingsdaten eingeschränkt, während Letzteres Prioris nur für die anfängliche Rekonstruktion nutzt und danach ausschließlich auf Videobeweise angewiesen ist; keiner der Ansätze bewältigt komplexe In-the-Wild-Szenarien mit großen Deformationen und Verdeckungen gut. Wir präsentieren Lift4D, ein Optimierungsrahmenwerk zur Testzeit, das beide Einschränkungen adressiert. Zunächst passen wir ein bestehendes Einzelansicht-3D-Rekonstruktionsmodell an, um durch kausale latente Konditionierung zeitlich konsistente Vorhersagen pro Einzelbild zu erzielen, was eine kohärente Initialisierung für eine deformierbare 3D-Gaussian-Splatting-Repräsentation liefert. Anschließend „skulptieren“ wir diese Repräsentation, um sie an das Eingabevideo anzupassen, mittels einer okklusionsbewussten Optimierung, die sichtbare Oberflächendetails originalgetreu wiederherstellt, während unbeobachtete Regionen durch einen sichtbedingten Diffusions-Prior vervollständigt werden. Wir zeigen, dass Lift4D frühere 4D-Rekonstruktionsmethoden deutlich verbessert, insbesondere bei anspruchsvollen In-the-Wild-Sequenzen mit starken Verdeckungen und nicht-starrer Bewegung.

English

Reconstructing dynamic non-rigid objects from monocular video requires integrating visual cues from direct observations with data-driven priors over geometry and appearance. Prior approaches either learn to directly predict 4D representations from visual input or initialize a 3D representation that is subsequently deformed and refined based on video evidence. However, the former are constrained by the scarcity of 4D training data, while the latter leverage priors only for the initial reconstruction and rely solely on video supervision thereafter; neither handles complex in-the-wild scenarios with large deformations and occlusions well. We present Lift4D, a test-time optimization framework that addresses both limitations. First, we adapt an existing single-view 3D reconstruction model to yield temporally consistent per-frame predictions via causal latent conditioning, providing a coherent initialization for a deformable 3D Gaussian Splatting representation. We then ``sculpt'' this representation to match the input video through an occlusion-aware optimization that faithfully recovers visible surface details while completing unobserved regions using a view-conditioned diffusion prior. We demonstrate that Lift4D clearly improves over prior 4D reconstruction methods, particularly on challenging in-the-wild sequences with severe occlusions and non-rigid motion.