ChatPaper.aiChatPaper

단일 이미지를 이용한 공간 조각화 외삽 기반 360^circ 재구성

360^circ Reconstruction From a Single Image Using Space Carved Outpainting

September 19, 2023
저자: Nuri Ryu, Minsu Gong, Geonung Kim, Joo-Haeng Lee, Sunghyun Cho
cs.AI

초록

우리는 단일 이미지로부터 완전한 360도 뷰의 3D 모델을 생성하는 새로운 프레임워크인 POP3D를 소개합니다. POP3D는 단일 뷰 재구성을 제한하는 두 가지 주요 문제를 해결합니다. 첫째, POP3D는 임의의 카테고리에 대해 상당한 일반화 능력을 제공하며, 이는 기존 방법들이 달성하기 어려웠던 특성입니다. 둘째, POP3D는 재구성의 충실도와 자연스러움을 더욱 향상시키며, 이는 동시대 연구들이 미치지 못했던 중요한 측면입니다. 우리의 접근 방식은 네 가지 주요 구성 요소의 강점을 결합합니다: (1) 중요한 기하학적 단서를 예측하는 단안 깊이 및 법선 예측기, (2) 대상 물체의 잠재적으로 보이지 않는 부분을 구분할 수 있는 공간 조각 방법, (3) 대규모 이미지 데이터셋에서 사전 훈련된 생성 모델로 대상의 보이지 않는 영역을 완성할 수 있는 모델, (4) RGB 이미지와 단안 기하학적 단서를 사용하여 물체를 재구성하도록 맞춤화된 신경 암시적 표면 재구성 방법. 이러한 구성 요소의 조합은 POP3D가 다양한 실제 이미지에 걸쳐 쉽게 일반화하고 최첨단 재구성을 생성할 수 있게 하며, 유사한 연구들을 상당한 차이로 능가합니다. 프로젝트 페이지: http://cg.postech.ac.kr/research/POP3D
English
We introduce POP3D, a novel framework that creates a full 360^circ-view 3D model from a single image. POP3D resolves two prominent issues that limit the single-view reconstruction. Firstly, POP3D offers substantial generalizability to arbitrary categories, a trait that previous methods struggle to achieve. Secondly, POP3D further improves reconstruction fidelity and naturalness, a crucial aspect that concurrent works fall short of. Our approach marries the strengths of four primary components: (1) a monocular depth and normal predictor that serves to predict crucial geometric cues, (2) a space carving method capable of demarcating the potentially unseen portions of the target object, (3) a generative model pre-trained on a large-scale image dataset that can complete unseen regions of the target, and (4) a neural implicit surface reconstruction method tailored in reconstructing objects using RGB images along with monocular geometric cues. The combination of these components enables POP3D to readily generalize across various in-the-wild images and generate state-of-the-art reconstructions, outperforming similar works by a significant margin. Project page: http://cg.postech.ac.kr/research/POP3D
PDF61December 15, 2024