Any6D: 새로운 물체에 대한 모델 없는 6D 포즈 추정

Any6D: Model-free 6D Pose Estimation of Novel Objects

March 24, 2025

저자: Taeyeop Lee, Bowen Wen, Minjun Kang, Gyuree Kang, In So Kweon, Kuk-Jin Yoon

cs.AI

초록

우리는 단일 RGB-D 앵커 이미지만으로도 새로운 장면에서 알려지지 않은 물체의 6D 포즈와 크기를 추정할 수 있는 모델 프리 프레임워크인 Any6D를 소개합니다. 텍스처가 적용된 3D 모델이나 다중 시점에 의존하는 기존 방법과 달리, Any6D는 2D-3D 정렬 및 미터법 스케일 추정을 향상시키기 위해 공동 물체 정렬 프로세스를 활용합니다. 우리의 접근 방식은 렌더링 및 비교 전략을 통합하여 포즈 가설을 생성하고 개선함으로써, 가림, 겹치지 않는 시야, 다양한 조명 조건, 그리고 큰 환경 간 변동이 있는 시나리오에서도 견고한 성능을 발휘할 수 있도록 합니다. 우리는 REAL275, Toyota-Light, HO3D, YCBINEOAT, LM-O 등 5개의 도전적인 데이터셋에서 우리의 방법을 평가하며, 새로운 물체 포즈 추정에서 최신 방법들을 크게 능가하는 효과를 입증합니다. 프로젝트 페이지: https://taeyeop.com/any6d

English

We introduce Any6D, a model-free framework for 6D object pose estimation that requires only a single RGB-D anchor image to estimate both the 6D pose and size of unknown objects in novel scenes. Unlike existing methods that rely on textured 3D models or multiple viewpoints, Any6D leverages a joint object alignment process to enhance 2D-3D alignment and metric scale estimation for improved pose accuracy. Our approach integrates a render-and-compare strategy to generate and refine pose hypotheses, enabling robust performance in scenarios with occlusions, non-overlapping views, diverse lighting conditions, and large cross-environment variations. We evaluate our method on five challenging datasets: REAL275, Toyota-Light, HO3D, YCBINEOAT, and LM-O, demonstrating its effectiveness in significantly outperforming state-of-the-art methods for novel object pose estimation. Project page: https://taeyeop.com/any6d