UniRecGen: 다중 뷰 3D 재구성 및 생성을 통합하는 프레임워크

초록

희소 시점 3D 모델링은 재구성 충실도와 생성적 타당성 사이의 근본적인 긴장 관계를 나타냅니다. 피드포워드 재구성은 효율성과 입력 정합성에서 뛰어나지만, 구조적 완전성을 위한 전역 사전 지식이 부족한 경우가 많습니다. 반대로, 확산 기반 생성은 풍부한 기하학적 디테일을 제공하지만 다중 시점 일관성 유지에 어려움을 겪습니다. 본 논문에서는 이 두 패러다임을 단일 협력 시스템으로 통합하는 통합 프레임워크인 UniRecGen을 제안합니다. 좌표 공간, 3D 표현, 훈련 목표에서 발생하는 내재적 충돌을 극복하기 위해 두 모델을 공유 표준 공간 내에서 정렬합니다. 안정적인 훈련을 유지하면서 추론 시 원활한 협력을 가능하게 하는 분리된 협력 학습을 적용합니다. 구체적으로, 재구성 모듈은 표준 기하학적 앵커를 제공하도록 조정되고, 확산 생성기는 잠재 증강 조건화를 활용하여 기하학적 구조를 정제 및 완성합니다. 실험 결과, UniRecGen이 우수한 충실도와 강건성을 달성하며 희소 관측으로부터 완전하고 일관된 3D 모델을 생성하는 기존 방법들을 능가함을 보여줍니다.

English

Sparse-view 3D modeling represents a fundamental tension between reconstruction fidelity and generative plausibility. While feed-forward reconstruction excels in efficiency and input alignment, it often lacks the global priors needed for structural completeness. Conversely, diffusion-based generation provides rich geometric details but struggles with multi-view consistency. We present UniRecGen, a unified framework that integrates these two paradigms into a single cooperative system. To overcome inherent conflicts in coordinate spaces, 3D representations, and training objectives, we align both models within a shared canonical space. We employ disentangled cooperative learning, which maintains stable training while enabling seamless collaboration during inference. Specifically, the reconstruction module is adapted to provide canonical geometric anchors, while the diffusion generator leverages latent-augmented conditioning to refine and complete the geometric structure. Experimental results demonstrate that UniRecGen achieves superior fidelity and robustness, outperforming existing methods in creating complete and consistent 3D models from sparse observations.

UniRecGen: 다중 뷰 3D 재구성 및 생성을 통합하는 프레임워크

UniRecGen: Unifying Multi-View 3D Reconstruction and Generation

초록

Support