Lift4D: Het harmoniseren van enkelvoudige 3D-schatting voor 4D-reconstructie in het wild

Samenvatting

Het reconstrueren van dynamische niet-rigide objecten uit monoculaire video vereist de integratie van visuele aanwijzingen uit directe waarnemingen met data-gedreven voorkennis over geometrie en verschijning. Eerdere benaderingen leren óf rechtstreeks 4D-representaties te voorspellen op basis van visuele invoer, óf ze initialiseren een 3D-representatie die vervolgens wordt vervormd en verfijnd op basis van videobewijs. De eerste worden echter beperkt door de schaarste aan 4D-trainingsdata, terwijl de laatste alleen voor de initiële reconstructie gebruikmaken van voorkennis en daarna uitsluitend vertrouwen op videosupervisie; geen van beide pakt complexe in-the-wild scenario's met grote vervormingen en occlusies goed aan. Wij presenteren Lift4D, een optimalisatiekader tijdens de testfase dat beide beperkingen aanpakt. Ten eerste passen we een bestaand 3D-reconstructiemodel voor enkele weergaven aan om temporeel consistente per-frame voorspellingen te verkrijgen via causale latente conditionering, wat een coherente initiële schatting oplevert voor een vervormbare 3D Gaussiaanse Splatting-representatie. Vervolgens 'boetseren' we deze representatie zodanig dat deze overeenkomt met de invoervideo door middel van een occlusiebewuste optimalisatie die zichtbare oppervlaktedetails getrouw herstelt en niet-waargenomen gebieden aanvult met behulp van een beeldhoek-geconditioneerde diffusieprior. We tonen aan dat Lift4D een duidelijke verbetering is ten opzichte van eerdere 4D-reconstructiemethoden, met name bij uitdagende in-the-wild sequenties met ernstige occlusies en niet-rigide beweging.

English

Reconstructing dynamic non-rigid objects from monocular video requires integrating visual cues from direct observations with data-driven priors over geometry and appearance. Prior approaches either learn to directly predict 4D representations from visual input or initialize a 3D representation that is subsequently deformed and refined based on video evidence. However, the former are constrained by the scarcity of 4D training data, while the latter leverage priors only for the initial reconstruction and rely solely on video supervision thereafter; neither handles complex in-the-wild scenarios with large deformations and occlusions well. We present Lift4D, a test-time optimization framework that addresses both limitations. First, we adapt an existing single-view 3D reconstruction model to yield temporally consistent per-frame predictions via causal latent conditioning, providing a coherent initialization for a deformable 3D Gaussian Splatting representation. We then ``sculpt'' this representation to match the input video through an occlusion-aware optimization that faithfully recovers visible surface details while completing unobserved regions using a view-conditioned diffusion prior. We demonstrate that Lift4D clearly improves over prior 4D reconstruction methods, particularly on challenging in-the-wild sequences with severe occlusions and non-rigid motion.