단일 참조 뷰를 통한 새로운 객체 6D 포즈 추정

Novel Object 6D Pose Estimation with a Single Reference View

March 7, 2025

저자: Jian Liu, Wei Sun, Kai Zeng, Jin Zheng, Hui Yang, Lin Wang, Hossein Rahmani, Ajmal Mian

cs.AI

초록

기존의 새로운 객체 6D 포즈 추정 방법들은 일반적으로 CAD 모델이나 밀집된 참조 뷰에 의존하는데, 이 둘 모두 획득하기 어렵습니다. 단일 참조 뷰만을 사용하는 것은 확장성이 더 뛰어나지만, 큰 포즈 차이와 제한된 기하학적 및 공간 정보로 인해 어려움이 있습니다. 이러한 문제를 해결하기 위해, 우리는 단일 참조 기반의 새로운 객체 6D 포즈 추정 방법(SinRef-6D)을 제안합니다. 우리의 핵심 아이디어는 상태 공간 모델(SSM)을 기반으로 카메라 좌표계에서 점 단위 정렬을 반복적으로 수행하는 것입니다. 구체적으로, 반복적인 카메라 공간 점 단위 정렬은 큰 포즈 차이를 효과적으로 처리할 수 있으며, 우리가 제안한 RGB 및 포인트 SSM은 단일 뷰에서 장거리 의존성과 공간 정보를 포착하여 선형 복잡성과 우수한 공간 모델링 능력을 제공합니다. 합성 데이터에 대해 사전 학습된 후, SinRef-6D는 재학습이나 CAD 모델 없이도 단일 참조 뷰만을 사용하여 새로운 객체의 6D 포즈를 추정할 수 있습니다. 6개의 인기 있는 데이터셋과 실제 로봇 장면에 대한 광범위한 실험을 통해, 우리는 더 어려운 단일 참조 설정에서도 CAD 기반 및 밀집 참조 뷰 기반 방법과 동등한 성능을 달성함을 입증했습니다. 코드는 https://github.com/CNJianLiu/SinRef-6D에서 공개될 예정입니다.

English

Existing novel object 6D pose estimation methods typically rely on CAD models or dense reference views, which are both difficult to acquire. Using only a single reference view is more scalable, but challenging due to large pose discrepancies and limited geometric and spatial information. To address these issues, we propose a Single-Reference-based novel object 6D (SinRef-6D) pose estimation method. Our key idea is to iteratively establish point-wise alignment in the camera coordinate system based on state space models (SSMs). Specifically, iterative camera-space point-wise alignment can effectively handle large pose discrepancies, while our proposed RGB and Points SSMs can capture long-range dependencies and spatial information from a single view, offering linear complexity and superior spatial modeling capability. Once pre-trained on synthetic data, SinRef-6D can estimate the 6D pose of a novel object using only a single reference view, without requiring retraining or a CAD model. Extensive experiments on six popular datasets and real-world robotic scenes demonstrate that we achieve on-par performance with CAD-based and dense reference view-based methods, despite operating in the more challenging single reference setting. Code will be released at https://github.com/CNJianLiu/SinRef-6D.