Stima della Posa 6D di Nuovi Oggetti con una Singola Vista di Riferimento

Novel Object 6D Pose Estimation with a Single Reference View

March 7, 2025

Autori: Jian Liu, Wei Sun, Kai Zeng, Jin Zheng, Hui Yang, Lin Wang, Hossein Rahmani, Ajmal Mian

cs.AI

Abstract

I metodi esistenti per la stima della posa 6D di oggetti nuovi si basano tipicamente su modelli CAD o su viste di riferimento dense, entrambi difficili da acquisire. L'utilizzo di una sola vista di riferimento è più scalabile, ma risulta impegnativo a causa delle grandi discrepanze di posa e delle limitate informazioni geometriche e spaziali. Per affrontare questi problemi, proponiamo un metodo di stima della posa 6D basato su una singola vista di riferimento (SinRef-6D). La nostra idea chiave è quella di stabilire iterativamente un allineamento punto-punto nel sistema di coordinate della camera basato su modelli di spazio degli stati (SSM). Nello specifico, l'allineamento iterativo punto-punto nello spazio della camera può gestire efficacemente grandi discrepanze di posa, mentre i nostri SSM RGB e Points proposti possono catturare dipendenze a lungo raggio e informazioni spaziali da una singola vista, offrendo complessità lineare e una superiore capacità di modellazione spaziale. Una volta pre-addestrato su dati sintetici, SinRef-6D può stimare la posa 6D di un oggetto nuovo utilizzando solo una singola vista di riferimento, senza richiedere ri-addestramento o un modello CAD. Esperimenti estensivi su sei dataset popolari e scene robotiche del mondo reale dimostrano che otteniamo prestazioni paragonabili ai metodi basati su CAD e su viste di riferimento dense, nonostante operiamo nel contesto più impegnativo di una singola vista di riferimento. Il codice sarà rilasciato su https://github.com/CNJianLiu/SinRef-6D.

English

Existing novel object 6D pose estimation methods typically rely on CAD models or dense reference views, which are both difficult to acquire. Using only a single reference view is more scalable, but challenging due to large pose discrepancies and limited geometric and spatial information. To address these issues, we propose a Single-Reference-based novel object 6D (SinRef-6D) pose estimation method. Our key idea is to iteratively establish point-wise alignment in the camera coordinate system based on state space models (SSMs). Specifically, iterative camera-space point-wise alignment can effectively handle large pose discrepancies, while our proposed RGB and Points SSMs can capture long-range dependencies and spatial information from a single view, offering linear complexity and superior spatial modeling capability. Once pre-trained on synthetic data, SinRef-6D can estimate the 6D pose of a novel object using only a single reference view, without requiring retraining or a CAD model. Extensive experiments on six popular datasets and real-world robotic scenes demonstrate that we achieve on-par performance with CAD-based and dense reference view-based methods, despite operating in the more challenging single reference setting. Code will be released at https://github.com/CNJianLiu/SinRef-6D.