Any6D: Estimación de Pose 6D sin Modelo para Objetos Novedosos

Any6D: Model-free 6D Pose Estimation of Novel Objects

March 24, 2025

Autores: Taeyeop Lee, Bowen Wen, Minjun Kang, Gyuree Kang, In So Kweon, Kuk-Jin Yoon

cs.AI

Resumen

Presentamos Any6D, un marco libre de modelos para la estimación de la pose 6D de objetos que requiere únicamente una imagen RGB-D de referencia para estimar tanto la pose 6D como el tamaño de objetos desconocidos en escenas novedosas. A diferencia de los métodos existentes que dependen de modelos 3D texturizados o múltiples puntos de vista, Any6D aprovecha un proceso conjunto de alineación de objetos para mejorar la alineación 2D-3D y la estimación de escala métrica, logrando así una mayor precisión en la pose. Nuestro enfoque integra una estrategia de renderizado y comparación para generar y refinar hipótesis de pose, lo que permite un rendimiento robusto en escenarios con oclusiones, vistas no superpuestas, diversas condiciones de iluminación y grandes variaciones entre entornos. Evaluamos nuestro método en cinco conjuntos de datos desafiantes: REAL275, Toyota-Light, HO3D, YCBINEOAT y LM-O, demostrando su eficacia al superar significativamente a los métodos más avanzados en la estimación de la pose de objetos novedosos. Página del proyecto: https://taeyeop.com/any6d

English

We introduce Any6D, a model-free framework for 6D object pose estimation that requires only a single RGB-D anchor image to estimate both the 6D pose and size of unknown objects in novel scenes. Unlike existing methods that rely on textured 3D models or multiple viewpoints, Any6D leverages a joint object alignment process to enhance 2D-3D alignment and metric scale estimation for improved pose accuracy. Our approach integrates a render-and-compare strategy to generate and refine pose hypotheses, enabling robust performance in scenarios with occlusions, non-overlapping views, diverse lighting conditions, and large cross-environment variations. We evaluate our method on five challenging datasets: REAL275, Toyota-Light, HO3D, YCBINEOAT, and LM-O, demonstrating its effectiveness in significantly outperforming state-of-the-art methods for novel object pose estimation. Project page: https://taeyeop.com/any6d