Lift4D: Harmonizando a Estimativa 3D de Vista Única para Reconstrução 4D em Ambientes Reais

Resumo

A reconstrução de objetos não rígidos dinâmicos a partir de vídeos monoculares requer a integração de pistas visuais de observações diretas com priors orientados por dados sobre geometria e aparência. Abordagens anteriores aprendem a prever diretamente representações 4D a partir da entrada visual ou inicializam uma representação 3D que subsequentemente é deformada e refinada com base nas evidências do vídeo. No entanto, as primeiras são limitadas pela escassez de dados de treinamento 4D, enquanto as últimas utilizam priors apenas para a reconstrução inicial e dependem exclusivamente da supervisão do vídeo depois disso; nenhuma delas lida bem com cenários complexos do mundo real, com grandes deformações e oclusões. Apresentamos o Lift4D, uma estrutura de otimização em tempo de teste que aborda ambas as limitações. Primeiro, adaptamos um modelo existente de reconstrução 3D a partir de uma única visão para produzir previsões temporalmente consistentes quadro a quadro por meio de condicionamento latente causal, fornecendo uma inicialização coerente para uma representação deformável de Gaussian Splatting 3D. Em seguida, "esculpimos" essa representação para corresponder ao vídeo de entrada por meio de uma otimização consciente de oclusão que recupera fielmente os detalhes visíveis da superfície, enquanto completa as regiões não observadas usando um prior de difusão condicionado à visão. Demonstramos que o Lift4D melhora claramente em relação aos métodos anteriores de reconstrução 4D, particularmente em sequências desafiadoras do mundo real com oclusões severas e movimento não rígido.

English

Reconstructing dynamic non-rigid objects from monocular video requires integrating visual cues from direct observations with data-driven priors over geometry and appearance. Prior approaches either learn to directly predict 4D representations from visual input or initialize a 3D representation that is subsequently deformed and refined based on video evidence. However, the former are constrained by the scarcity of 4D training data, while the latter leverage priors only for the initial reconstruction and rely solely on video supervision thereafter; neither handles complex in-the-wild scenarios with large deformations and occlusions well. We present Lift4D, a test-time optimization framework that addresses both limitations. First, we adapt an existing single-view 3D reconstruction model to yield temporally consistent per-frame predictions via causal latent conditioning, providing a coherent initialization for a deformable 3D Gaussian Splatting representation. We then ``sculpt'' this representation to match the input video through an occlusion-aware optimization that faithfully recovers visible surface details while completing unobserved regions using a view-conditioned diffusion prior. We demonstrate that Lift4D clearly improves over prior 4D reconstruction methods, particularly on challenging in-the-wild sequences with severe occlusions and non-rigid motion.