더 이상 떠다니지 않음: 단일 이미지에서의 객체-지면 재구성

Floating No More: Object-Ground Reconstruction from a Single Image

July 26, 2024

저자: Yunze Man, Yichen Sheng, Jianming Zhang, Liang-Yan Gui, Yu-Xiong Wang

cs.AI

초록

단일 이미지에서의 3D 객체 재구성 기술의 최근 발전은 주로 객체 형태의 정확도 향상에 초점을 맞추어 왔습니다. 그러나 이러한 기술들은 종종 객체, 지면, 카메라 간의 상호 관계를 정확히 포착하지 못합니다. 그 결과, 재구성된 객체들은 평평한 표면 위에 놓일 때 공중에 떠 있거나 기울어진 것처럼 보이는 문제가 발생합니다. 이러한 한계는 그림자 렌더링 및 객체 자세 조작과 같은 3D 인식 이미지 편집 애플리케이션에 큰 영향을 미칩니다. 이 문제를 해결하기 위해, 우리는 지면과 함께 3D 객체 기하학을 재구성하는 새로운 과제인 ORG(Object Reconstruction with Ground)를 제안합니다. 우리의 방법은 카메라, 객체, 지면 간의 관계를 나타내기 위해 두 가지 간결한 픽셀 수준 표현을 사용합니다. 실험 결과, 제안된 ORG 모델은 기존의 단일 이미지 3D 재구성 기술에 비해 보이지 않는 데이터에서도 객체-지면 기하학을 효과적으로 재구성할 수 있으며, 그림자 생성과 자세 조작의 품질을 크게 향상시킬 수 있음을 보여줍니다.

English

Recent advancements in 3D object reconstruction from single images have primarily focused on improving the accuracy of object shapes. Yet, these techniques often fail to accurately capture the inter-relation between the object, ground, and camera. As a result, the reconstructed objects often appear floating or tilted when placed on flat surfaces. This limitation significantly affects 3D-aware image editing applications like shadow rendering and object pose manipulation. To address this issue, we introduce ORG (Object Reconstruction with Ground), a novel task aimed at reconstructing 3D object geometry in conjunction with the ground surface. Our method uses two compact pixel-level representations to depict the relationship between camera, object, and ground. Experiments show that the proposed ORG model can effectively reconstruct object-ground geometry on unseen data, significantly enhancing the quality of shadow generation and pose manipulation compared to conventional single-image 3D reconstruction techniques.