Не плавающий больше: восстановление объекта-фона из одного изображения

Floating No More: Object-Ground Reconstruction from a Single Image

July 26, 2024

Авторы: Yunze Man, Yichen Sheng, Jianming Zhang, Liang-Yan Gui, Yu-Xiong Wang

cs.AI

Аннотация

Недавние достижения в восстановлении трехмерных объектов из одиночных изображений в основном сосредоточены на улучшении точности форм объектов. Тем не менее, эти техники часто не могут точно захватить взаимосвязь между объектом, поверхностью и камерой. В результате восстановленные объекты часто кажутся парящими или наклоненными при размещении на плоских поверхностях. Это ограничение существенно влияет на приложения по редактированию изображений с учетом трехмерного пространства, такие как генерация теней и манипулирование позой объекта. Для решения этой проблемы мы представляем ORG (Object Reconstruction with Ground) - новую задачу, направленную на восстановление геометрии трехмерных объектов в сочетании с поверхностью земли. Наш метод использует два компактных представления на уровне пикселей для описания взаимосвязи между камерой, объектом и поверхностью земли. Эксперименты показывают, что предложенная модель ORG может эффективно восстанавливать геометрию объекта и поверхности земли на невидимых данных, значительно улучшая качество генерации теней и манипулирования позой по сравнению с традиционными техниками восстановления трехмерных объектов из одиночных изображений.

English

Recent advancements in 3D object reconstruction from single images have primarily focused on improving the accuracy of object shapes. Yet, these techniques often fail to accurately capture the inter-relation between the object, ground, and camera. As a result, the reconstructed objects often appear floating or tilted when placed on flat surfaces. This limitation significantly affects 3D-aware image editing applications like shadow rendering and object pose manipulation. To address this issue, we introduce ORG (Object Reconstruction with Ground), a novel task aimed at reconstructing 3D object geometry in conjunction with the ground surface. Our method uses two compact pixel-level representations to depict the relationship between camera, object, and ground. Experiments show that the proposed ORG model can effectively reconstruct object-ground geometry on unseen data, significantly enhancing the quality of shadow generation and pose manipulation compared to conventional single-image 3D reconstruction techniques.