浮遊せずに：単一画像からの物体-地面再構成

Floating No More: Object-Ground Reconstruction from a Single Image

July 26, 2024

著者: Yunze Man, Yichen Sheng, Jianming Zhang, Liang-Yan Gui, Yu-Xiong Wang

cs.AI

要旨

単一画像からの3Dオブジェクト再構築における最近の進展は、主にオブジェクト形状の精度向上に焦点を当ててきました。しかし、これらの技術は、オブジェクト、地面、カメラ間の相互関係を正確に捉えることができない場合が多く、その結果、再構築されたオブジェクトは平坦な表面上に配置された際に浮いているように見えたり、傾いて見えたりすることがあります。この制限は、影のレンダリングやオブジェクトの姿勢操作といった3D対応の画像編集アプリケーションに大きな影響を及ぼします。この問題に対処するため、我々はORG（Object Reconstruction with Ground）という新しいタスクを提案します。このタスクは、地面表面と共に3Dオブジェクトの形状を再構築することを目的としています。我々の手法では、カメラ、オブジェクト、地面の関係を表すために2つのコンパクトなピクセルレベル表現を使用します。実験結果から、提案されたORGモデルは未見のデータに対してオブジェクトと地面の形状を効果的に再構築し、従来の単一画像からの3D再構築技術と比較して、影生成や姿勢操作の品質を大幅に向上させることが示されました。

English

Recent advancements in 3D object reconstruction from single images have primarily focused on improving the accuracy of object shapes. Yet, these techniques often fail to accurately capture the inter-relation between the object, ground, and camera. As a result, the reconstructed objects often appear floating or tilted when placed on flat surfaces. This limitation significantly affects 3D-aware image editing applications like shadow rendering and object pose manipulation. To address this issue, we introduce ORG (Object Reconstruction with Ground), a novel task aimed at reconstructing 3D object geometry in conjunction with the ground surface. Our method uses two compact pixel-level representations to depict the relationship between camera, object, and ground. Experiments show that the proposed ORG model can effectively reconstruct object-ground geometry on unseen data, significantly enhancing the quality of shadow generation and pose manipulation compared to conventional single-image 3D reconstruction techniques.