Any6D : Estimation de pose 6D sans modèle pour des objets nouveaux

Any6D: Model-free 6D Pose Estimation of Novel Objects

March 24, 2025

Auteurs: Taeyeop Lee, Bowen Wen, Minjun Kang, Gyuree Kang, In So Kweon, Kuk-Jin Yoon

cs.AI

Résumé

Nous présentons Any6D, un cadre sans modèle pour l'estimation de pose 6D d'objets qui ne nécessite qu'une seule image d'ancrage RGB-D pour estimer à la fois la pose 6D et la taille d'objets inconnus dans de nouvelles scènes. Contrairement aux méthodes existantes qui s'appuient sur des modèles 3D texturés ou des vues multiples, Any6D exploite un processus d'alignement conjoint d'objets pour améliorer l'alignement 2D-3D et l'estimation de l'échelle métrique, permettant ainsi une précision accrue de la pose. Notre approche intègre une stratégie de rendu et comparaison pour générer et affiner des hypothèses de pose, offrant une performance robuste dans des scénarios comportant des occlusions, des vues non chevauchantes, des conditions d'éclairage variées et de grandes variations inter-environnementales. Nous évaluons notre méthode sur cinq ensembles de données complexes : REAL275, Toyota-Light, HO3D, YCBINEOAT et LM-O, démontrant son efficacité à surpasser significativement les méthodes de pointe pour l'estimation de pose d'objets inconnus. Page du projet : https://taeyeop.com/any6d

English

We introduce Any6D, a model-free framework for 6D object pose estimation that requires only a single RGB-D anchor image to estimate both the 6D pose and size of unknown objects in novel scenes. Unlike existing methods that rely on textured 3D models or multiple viewpoints, Any6D leverages a joint object alignment process to enhance 2D-3D alignment and metric scale estimation for improved pose accuracy. Our approach integrates a render-and-compare strategy to generate and refine pose hypotheses, enabling robust performance in scenarios with occlusions, non-overlapping views, diverse lighting conditions, and large cross-environment variations. We evaluate our method on five challenging datasets: REAL275, Toyota-Light, HO3D, YCBINEOAT, and LM-O, demonstrating its effectiveness in significantly outperforming state-of-the-art methods for novel object pose estimation. Project page: https://taeyeop.com/any6d