Non Più in Volo: Ricostruzione Oggetto-Terreno da una Singola Immagine

Floating No More: Object-Ground Reconstruction from a Single Image

July 26, 2024

Autori: Yunze Man, Yichen Sheng, Jianming Zhang, Liang-Yan Gui, Yu-Xiong Wang

cs.AI

Abstract

I recenti progressi nella ricostruzione di oggetti 3D da immagini singole si sono principalmente concentrati sul miglioramento dell'accuratezza delle forme degli oggetti. Tuttavia, queste tecniche spesso non riescono a catturare con precisione l'interrelazione tra l'oggetto, il terreno e la fotocamera. Di conseguenza, gli oggetti ricostruiti spesso appaiono fluttuanti o inclinati quando vengono posizionati su superfici piatte. Questa limitazione influisce significativamente sulle applicazioni di editing di immagini 3D-aware come il rendering delle ombre e la manipolazione della posa degli oggetti. Per affrontare questo problema, introduciamo ORG (Object Reconstruction with Ground), un nuovo compito mirato a ricostruire la geometria 3D degli oggetti insieme alla superficie del terreno. Il nostro metodo utilizza due rappresentazioni compatte a livello di pixel per descrivere la relazione tra fotocamera, oggetto e terreno. Gli esperimenti dimostrano che il modello ORG proposto può ricostruire efficacemente la geometria oggetto-terreno su dati non visti, migliorando significativamente la qualità della generazione delle ombre e della manipolazione della posa rispetto alle tecniche convenzionali di ricostruzione 3D da immagini singole.

English

Recent advancements in 3D object reconstruction from single images have primarily focused on improving the accuracy of object shapes. Yet, these techniques often fail to accurately capture the inter-relation between the object, ground, and camera. As a result, the reconstructed objects often appear floating or tilted when placed on flat surfaces. This limitation significantly affects 3D-aware image editing applications like shadow rendering and object pose manipulation. To address this issue, we introduce ORG (Object Reconstruction with Ground), a novel task aimed at reconstructing 3D object geometry in conjunction with the ground surface. Our method uses two compact pixel-level representations to depict the relationship between camera, object, and ground. Experiments show that the proposed ORG model can effectively reconstruct object-ground geometry on unseen data, significantly enhancing the quality of shadow generation and pose manipulation compared to conventional single-image 3D reconstruction techniques.