Lift4D : Harmonisation de l’estimation 3D mono-vue pour la reconstruction 4D en conditions réelles

Résumé

La reconstruction d'objets dynamiques non rigides à partir d'une vidéo monoculaire nécessite d'intégrer des indices visuels issus d'observations directes avec des a priori guidés par les données sur la géométrie et l'apparence. Les approches précédentes apprennent soit à prédire directement des représentations 4D à partir d'entrées visuelles, soit initialisent une représentation 3D qui est ensuite déformée et affinée à partir des preuves vidéo. Cependant, les premières sont limitées par la rareté des données d'entraînement 4D, tandis que les secondes n'exploitent les a priori que pour la reconstruction initiale et ne s'appuient ensuite que sur la supervision vidéo ; ni les unes ni les autres ne gèrent bien les scénarios complexes en conditions réelles présentant de grandes déformations et occlusions. Nous présentons Lift4D, un cadre d'optimisation au moment du test qui répond à ces deux limitations. Premièrement, nous adaptons un modèle existant de reconstruction 3D à partir d'une seule vue pour produire des prédictions temporellement cohérentes par image via un conditionnement latent causal, fournissant une initialisation cohérente pour une représentation déformable par Gaussian Splatting 3D. Ensuite, nous « sculptons » cette représentation pour l'adapter à la vidéo d'entrée grâce à une optimisation consciente des occlusions qui restitue fidèlement les détails de surface visibles tout en complétant les régions non observées à l'aide d'un a priori de diffusion conditionné par la vue. Nous démontrons que Lift4D améliore nettement les méthodes de reconstruction 4D antérieures, en particulier sur les séquences difficiles en conditions réelles avec des occlusions sévères et des mouvements non rigides.

English

Reconstructing dynamic non-rigid objects from monocular video requires integrating visual cues from direct observations with data-driven priors over geometry and appearance. Prior approaches either learn to directly predict 4D representations from visual input or initialize a 3D representation that is subsequently deformed and refined based on video evidence. However, the former are constrained by the scarcity of 4D training data, while the latter leverage priors only for the initial reconstruction and rely solely on video supervision thereafter; neither handles complex in-the-wild scenarios with large deformations and occlusions well. We present Lift4D, a test-time optimization framework that addresses both limitations. First, we adapt an existing single-view 3D reconstruction model to yield temporally consistent per-frame predictions via causal latent conditioning, providing a coherent initialization for a deformable 3D Gaussian Splatting representation. We then ``sculpt'' this representation to match the input video through an occlusion-aware optimization that faithfully recovers visible surface details while completing unobserved regions using a view-conditioned diffusion prior. We demonstrate that Lift4D clearly improves over prior 4D reconstruction methods, particularly on challenging in-the-wild sequences with severe occlusions and non-rigid motion.