Schwimmend war gestern: Objekt-Grund-Rekonstruktion aus einem einzigen Bild

Floating No More: Object-Ground Reconstruction from a Single Image

July 26, 2024

Autoren: Yunze Man, Yichen Sheng, Jianming Zhang, Liang-Yan Gui, Yu-Xiong Wang

cs.AI

Zusammenfassung

In jüngster Zeit lag der Schwerpunkt bei den Fortschritten in der 3D-Objektrekonstruktion aus Einzelbildern hauptsächlich auf der Verbesserung der Genauigkeit der Objektformen. Dennoch scheitern diese Techniken oft daran, die Wechselbeziehung zwischen dem Objekt, dem Boden und der Kamera genau zu erfassen. Als Ergebnis erscheinen die rekonstruierten Objekte häufig schwebend oder geneigt, wenn sie auf flachen Oberflächen platziert werden. Diese Einschränkung beeinträchtigt signifikant 3D-bewusste Bildbearbeitungsanwendungen wie Schattenwiedergabe und Objektpositionsmanipulation. Um dieses Problem anzugehen, stellen wir ORG (Objektrekonstruktion mit Boden) vor, eine neuartige Aufgabe, die darauf abzielt, die 3D-Objektgeometrie in Verbindung mit der Bodenoberfläche zu rekonstruieren. Unsere Methode verwendet zwei kompakte pixelbasierte Darstellungen, um die Beziehung zwischen Kamera, Objekt und Boden darzustellen. Experimente zeigen, dass das vorgeschlagene ORG-Modell die Objekt-Boden-Geometrie auf ungesehenen Daten effektiv rekonstruieren kann und im Vergleich zu herkömmlichen 3D-Rekonstruktionstechniken aus Einzelbildern die Qualität der Schattenerzeugung und der Positionsmanipulation des Objekts signifikant verbessert.

English

Recent advancements in 3D object reconstruction from single images have primarily focused on improving the accuracy of object shapes. Yet, these techniques often fail to accurately capture the inter-relation between the object, ground, and camera. As a result, the reconstructed objects often appear floating or tilted when placed on flat surfaces. This limitation significantly affects 3D-aware image editing applications like shadow rendering and object pose manipulation. To address this issue, we introduce ORG (Object Reconstruction with Ground), a novel task aimed at reconstructing 3D object geometry in conjunction with the ground surface. Our method uses two compact pixel-level representations to depict the relationship between camera, object, and ground. Experiments show that the proposed ORG model can effectively reconstruct object-ground geometry on unseen data, significantly enhancing the quality of shadow generation and pose manipulation compared to conventional single-image 3D reconstruction techniques.