Lift4D: Armonizando la Estimación 3D desde una Sola Vista para Reconstrucción 4D en Condiciones Naturales

Resumen

Reconstruir objetos dinámicos no rígidos a partir de videos monoculares requiere integrar pistas visuales provenientes de observaciones directas con priors basados en datos sobre geometría y apariencia. Los enfoques previos aprenden a predecir directamente representaciones 4D a partir de la entrada visual o inicializan una representación 3D que posteriormente se deforma y refina utilizando la evidencia del video. Sin embargo, los primeros están limitados por la escasez de datos de entrenamiento 4D, mientras que los segundos utilizan priors solo para la reconstrucción inicial y dependen exclusivamente de la supervisión del video en adelante; ninguno maneja bien escenarios complejos del mundo real con grandes deformaciones y oclusiones. Presentamos Lift4D, un marco de optimización en tiempo de prueba que aborda ambas limitaciones. Primero, adaptamos un modelo existente de reconstrucción 3D desde una sola vista para producir predicciones temporalmente coherentes por cuadro mediante condicionamiento latente causal, proporcionando una inicialización coherente para una representación de Splatting Gaussiano 3D deformable. Luego, "esculpimos" esta representación para que coincida con el video de entrada mediante una optimización consciente de oclusiones que recupera fielmente los detalles de la superficie visible, mientras completa las regiones no observadas utilizando un prior de difusión condicionado por vista. Demostramos que Lift4D mejora claramente con respecto a los métodos anteriores de reconstrucción 4D, particularmente en secuencias desafiantes del mundo real con oclusiones severas y movimiento no rígido.

English

Reconstructing dynamic non-rigid objects from monocular video requires integrating visual cues from direct observations with data-driven priors over geometry and appearance. Prior approaches either learn to directly predict 4D representations from visual input or initialize a 3D representation that is subsequently deformed and refined based on video evidence. However, the former are constrained by the scarcity of 4D training data, while the latter leverage priors only for the initial reconstruction and rely solely on video supervision thereafter; neither handles complex in-the-wild scenarios with large deformations and occlusions well. We present Lift4D, a test-time optimization framework that addresses both limitations. First, we adapt an existing single-view 3D reconstruction model to yield temporally consistent per-frame predictions via causal latent conditioning, providing a coherent initialization for a deformable 3D Gaussian Splatting representation. We then ``sculpt'' this representation to match the input video through an occlusion-aware optimization that faithfully recovers visible surface details while completing unobserved regions using a view-conditioned diffusion prior. We demonstrate that Lift4D clearly improves over prior 4D reconstruction methods, particularly on challenging in-the-wild sequences with severe occlusions and non-rigid motion.