Flotante ya no más: Reconstrucción de Objeto-Suelo a partir de una Única Imagen

Floating No More: Object-Ground Reconstruction from a Single Image

July 26, 2024

Autores: Yunze Man, Yichen Sheng, Jianming Zhang, Liang-Yan Gui, Yu-Xiong Wang

cs.AI

Resumen

Los avances recientes en la reconstrucción tridimensional de objetos a partir de imágenes individuales se han centrado principalmente en mejorar la precisión de las formas de los objetos. Sin embargo, estas técnicas a menudo no logran capturar con precisión la interrelación entre el objeto, el suelo y la cámara. Como resultado, los objetos reconstruidos a menudo parecen flotar o estar inclinados cuando se colocan sobre superficies planas. Esta limitación afecta significativamente las aplicaciones de edición de imágenes con conciencia tridimensional, como la generación de sombras y la manipulación de la posición de los objetos. Para abordar este problema, presentamos ORG (Reconstrucción de Objetos con Suelo), una tarea novedosa destinada a reconstruir la geometría tridimensional del objeto en conjunto con la superficie del suelo. Nuestro método utiliza dos representaciones compactas a nivel de píxeles para representar la relación entre la cámara, el objeto y el suelo. Los experimentos muestran que el modelo ORG propuesto puede reconstruir de manera efectiva la geometría objeto-suelo en datos no vistos, mejorando significativamente la calidad de la generación de sombras y la manipulación de la posición en comparación con las técnicas convencionales de reconstrucción tridimensional a partir de una sola imagen.

English

Recent advancements in 3D object reconstruction from single images have primarily focused on improving the accuracy of object shapes. Yet, these techniques often fail to accurately capture the inter-relation between the object, ground, and camera. As a result, the reconstructed objects often appear floating or tilted when placed on flat surfaces. This limitation significantly affects 3D-aware image editing applications like shadow rendering and object pose manipulation. To address this issue, we introduce ORG (Object Reconstruction with Ground), a novel task aimed at reconstructing 3D object geometry in conjunction with the ground surface. Our method uses two compact pixel-level representations to depict the relationship between camera, object, and ground. Experiments show that the proposed ORG model can effectively reconstruct object-ground geometry on unseen data, significantly enhancing the quality of shadow generation and pose manipulation compared to conventional single-image 3D reconstruction techniques.