Lift4D: 단일 시점 3D 추정의 조화를 통한 비정형 환경에서의 4D 재구성

초록

단안 비디오로부터 동적 비강체 객체를 재구성하려면 직접 관찰로부터 얻은 시각적 단서와 형상 및 외관에 대한 데이터 기반 사전 지식을 통합해야 한다. 기존 접근 방식은 시각 입력으로부터 4차원 표현을 직접 예측하도록 학습하거나, 이후 비디오 증거를 기반으로 변형 및 정제되는 3차원 표현을 초기화하는 방식이다. 그러나 전자는 4차원 훈련 데이터의 부족에 의해 제약을 받는 반면, 후자는 초기 재구성에만 사전 지식을 활용하고 이후에는 전적으로 비디오 감독에 의존한다. 두 방식 모두 큰 변형과 폐색이 있는 복잡한 야생 환경을 잘 처리하지 못한다. 본 논문에서는 이러한 두 가지 한계를 모두 해결하는 테스트 시간 최적화 프레임워크인 Lift4D를 제시한다. 먼저, 기존 단일 시점 3차원 재구성 모델을 인과적 잠재 조건화를 통해 시간적으로 일관된 프레임별 예측을 생성하도록 적응시켜, 변형 가능한 3차원 가우시안 스플래팅 표현에 대한 일관된 초기화를 제공한다. 그런 다음 이 표현을 입력 비디오에 일치하도록 "조각"하는데, 가시적 표면 디테일을 충실히 복원하면서 관찰되지 않은 영역을 시점 조건부 확산 사전을 사용하여 보완하는 폐색 인식 최적화를 통해 수행한다. Lift4D가 기존 4차원 재구성 방법, 특히 심각한 폐색과 비강체 운동이 있는 까다로운 야생 환경 시퀀스에서 명확히 개선된 성능을 보임을 입증한다.

English

Reconstructing dynamic non-rigid objects from monocular video requires integrating visual cues from direct observations with data-driven priors over geometry and appearance. Prior approaches either learn to directly predict 4D representations from visual input or initialize a 3D representation that is subsequently deformed and refined based on video evidence. However, the former are constrained by the scarcity of 4D training data, while the latter leverage priors only for the initial reconstruction and rely solely on video supervision thereafter; neither handles complex in-the-wild scenarios with large deformations and occlusions well. We present Lift4D, a test-time optimization framework that addresses both limitations. First, we adapt an existing single-view 3D reconstruction model to yield temporally consistent per-frame predictions via causal latent conditioning, providing a coherent initialization for a deformable 3D Gaussian Splatting representation. We then ``sculpt'' this representation to match the input video through an occlusion-aware optimization that faithfully recovers visible surface details while completing unobserved regions using a view-conditioned diffusion prior. We demonstrate that Lift4D clearly improves over prior 4D reconstruction methods, particularly on challenging in-the-wild sequences with severe occlusions and non-rigid motion.