Any6D: Безмодельное 6D-оценивание позы новых объектов

Any6D: Model-free 6D Pose Estimation of Novel Objects

March 24, 2025

Авторы: Taeyeop Lee, Bowen Wen, Minjun Kang, Gyuree Kang, In So Kweon, Kuk-Jin Yoon

cs.AI

Аннотация

Мы представляем Any6D — метод оценки 6D позы объектов, не требующий предварительного обучения модели и использующий всего одно RGB-D изображение-якорь для оценки как 6D позы, так и размеров неизвестных объектов в новых сценах. В отличие от существующих подходов, которые полагаются на текстурированные 3D-модели или множественные точки обзора, Any6D применяет совместный процесс выравнивания объектов для улучшения 2D-3D соответствия и оценки метрического масштаба, что повышает точность определения позы. Наш подход интегрирует стратегию рендеринга и сравнения для генерации и уточнения гипотез поз, обеспечивая устойчивую работу в условиях окклюзий, непересекающихся видов, разнообразного освещения и значительных различий между средами. Мы оцениваем наш метод на пяти сложных наборах данных: REAL275, Toyota-Light, HO3D, YCBINEOAT и LM-O, демонстрируя его эффективность и значительное превосходство над современными методами оценки позы новых объектов. Страница проекта: https://taeyeop.com/any6d.

English

We introduce Any6D, a model-free framework for 6D object pose estimation that requires only a single RGB-D anchor image to estimate both the 6D pose and size of unknown objects in novel scenes. Unlike existing methods that rely on textured 3D models or multiple viewpoints, Any6D leverages a joint object alignment process to enhance 2D-3D alignment and metric scale estimation for improved pose accuracy. Our approach integrates a render-and-compare strategy to generate and refine pose hypotheses, enabling robust performance in scenarios with occlusions, non-overlapping views, diverse lighting conditions, and large cross-environment variations. We evaluate our method on five challenging datasets: REAL275, Toyota-Light, HO3D, YCBINEOAT, and LM-O, demonstrating its effectiveness in significantly outperforming state-of-the-art methods for novel object pose estimation. Project page: https://taeyeop.com/any6d