Flotter n'est plus : Reconstruction Objet-Sol à partir d'une seule image

Floating No More: Object-Ground Reconstruction from a Single Image

July 26, 2024

Auteurs: Yunze Man, Yichen Sheng, Jianming Zhang, Liang-Yan Gui, Yu-Xiong Wang

cs.AI

Résumé

Les récents progrès dans la reconstruction d'objets 3D à partir d'images uniques se sont principalement concentrés sur l'amélioration de la précision des formes des objets. Cependant, ces techniques échouent souvent à capturer avec exactitude l'interrelation entre l'objet, le sol et la caméra. En conséquence, les objets reconstruits apparaissent fréquemment flottants ou inclinés lorsqu'ils sont placés sur des surfaces planes. Cette limitation affecte significativement les applications de retouche d'images 3D, telles que le rendu des ombres et la manipulation de la pose des objets. Pour résoudre ce problème, nous introduisons ORG (Object Reconstruction with Ground), une nouvelle tâche visant à reconstruire la géométrie 3D des objets en conjonction avec la surface du sol. Notre méthode utilise deux représentations compactes au niveau des pixels pour décrire la relation entre la caméra, l'objet et le sol. Les expériences montrent que le modèle ORG proposé peut reconstruire efficacement la géométrie objet-sol sur des données inédites, améliorant considérablement la qualité de la génération d'ombres et de la manipulation de la pose par rapport aux techniques conventionnelles de reconstruction 3D à partir d'une seule image.

English

Recent advancements in 3D object reconstruction from single images have primarily focused on improving the accuracy of object shapes. Yet, these techniques often fail to accurately capture the inter-relation between the object, ground, and camera. As a result, the reconstructed objects often appear floating or tilted when placed on flat surfaces. This limitation significantly affects 3D-aware image editing applications like shadow rendering and object pose manipulation. To address this issue, we introduce ORG (Object Reconstruction with Ground), a novel task aimed at reconstructing 3D object geometry in conjunction with the ground surface. Our method uses two compact pixel-level representations to depict the relationship between camera, object, and ground. Experiments show that the proposed ORG model can effectively reconstruct object-ground geometry on unseen data, significantly enhancing the quality of shadow generation and pose manipulation compared to conventional single-image 3D reconstruction techniques.