Any6D：新規物体に対するモデルフリーな6次元姿勢推定

Any6D: Model-free 6D Pose Estimation of Novel Objects

March 24, 2025

著者: Taeyeop Lee, Bowen Wen, Minjun Kang, Gyuree Kang, In So Kweon, Kuk-Jin Yoon

cs.AI

要旨

我々はAny6Dを紹介する。これは、未知の物体の6D姿勢とサイズを推定するためのモデルフリーなフレームワークであり、単一のRGB-Dアンカー画像のみを必要とする。テクスチャ付き3Dモデルや複数の視点に依存する既存の手法とは異なり、Any6Dは2D-3Dアライメントとメトリックスケール推定を向上させるための共同物体アライメントプロセスを活用する。我々のアプローチは、レンダリング・アンド・コンペア戦略を統合し、姿勢仮説を生成・洗練することで、オクルージョン、非重複視野、多様な照明条件、大規模な環境間変動といったシナリオにおいても堅牢な性能を実現する。我々は、REAL275、Toyota-Light、HO3D、YCBINEOAT、LM-Oの5つの挑戦的なデータセットで本手法を評価し、新規物体姿勢推定において最先端の手法を大幅に上回る有効性を実証した。プロジェクトページ: https://taeyeop.com/any6d

English

We introduce Any6D, a model-free framework for 6D object pose estimation that requires only a single RGB-D anchor image to estimate both the 6D pose and size of unknown objects in novel scenes. Unlike existing methods that rely on textured 3D models or multiple viewpoints, Any6D leverages a joint object alignment process to enhance 2D-3D alignment and metric scale estimation for improved pose accuracy. Our approach integrates a render-and-compare strategy to generate and refine pose hypotheses, enabling robust performance in scenarios with occlusions, non-overlapping views, diverse lighting conditions, and large cross-environment variations. We evaluate our method on five challenging datasets: REAL275, Toyota-Light, HO3D, YCBINEOAT, and LM-O, demonstrating its effectiveness in significantly outperforming state-of-the-art methods for novel object pose estimation. Project page: https://taeyeop.com/any6d