Défi BOP 2024 sur l'estimation de la pose 6D d'objets par approches basées sur modèle et sans modèle

BOP Challenge 2024 on Model-Based and Model-Free 6D Object Pose Estimation

April 3, 2025

Auteurs: Van Nguyen Nguyen, Stephen Tyree, Andrew Guo, Mederic Fourmy, Anas Gouda, Taeyeop Lee, Sungphill Moon, Hyeontae Son, Lukas Ranftl, Jonathan Tremblay, Eric Brachmann, Bertram Drost, Vincent Lepetit, Carsten Rother, Stan Birchfield, Jiri Matas, Yann Labbe, Martin Sundermeyer, Tomas Hodan

cs.AI

Résumé

Nous présentons la méthodologie d'évaluation, les jeux de données et les résultats du BOP Challenge 2024, la sixième édition d'une série de compétitions publiques organisées pour mesurer l'état de l'art dans l'estimation de pose 6D d'objets et les tâches associées. En 2024, notre objectif était de faire évoluer BOP des configurations de laboratoire vers des scénarios réels. Premièrement, nous avons introduit de nouvelles tâches sans modèle, où aucun modèle 3D d'objet n'est disponible et où les méthodes doivent intégrer des objets uniquement à partir de vidéos de référence fournies. Deuxièmement, nous avons défini une nouvelle tâche de détection 6D d'objets plus pratique, où les identités des objets visibles dans une image de test ne sont pas fournies en entrée. Troisièmement, nous avons introduit de nouveaux jeux de données BOP-H3, enregistrés avec des capteurs haute résolution et des casques AR/VR, ressemblant étroitement à des scénarios réels. BOP-H3 inclut des modèles 3D et des vidéos d'intégration pour supporter à la fois les tâches avec et sans modèle. Les participants ont concouru sur sept pistes de challenge, chacune définie par une tâche, une configuration d'intégration d'objets et un groupe de jeux de données. Notamment, la meilleure méthode de 2024 pour la localisation 6D basée sur modèle d'objets non vus (FreeZeV2.1) atteint une précision 22% supérieure sur BOP-Classic-Core par rapport à la meilleure méthode de 2023 (GenFlow), et n'est que 4% derrière la meilleure méthode de 2023 pour les objets vus (GPose2023) bien qu'étant significativement plus lente (24,9 vs 2,7s par image). Une méthode plus pratique de 2024 pour cette tâche est Co-op, qui ne prend que 0,8s par image et est 25 fois plus rapide et 13% plus précise que GenFlow. Les méthodes ont un classement similaire en détection 6D qu'en localisation 6D mais avec un temps d'exécution plus élevé. Pour la détection 2D basée sur modèle d'objets non vus, la meilleure méthode de 2024 (MUSE) atteint une amélioration relative de 21% par rapport à la meilleure méthode de 2023 (CNOS). Cependant, la précision de détection 2D pour les objets non vus reste notablement inférieure (-53%) à celle des objets vus (GDet2023). Le système d'évaluation en ligne reste ouvert et est disponible à l'adresse http://bop.felk.cvut.cz/.

English

We present the evaluation methodology, datasets and results of the BOP Challenge 2024, the sixth in a series of public competitions organized to capture the state of the art in 6D object pose estimation and related tasks. In 2024, our goal was to transition BOP from lab-like setups to real-world scenarios. First, we introduced new model-free tasks, where no 3D object models are available and methods need to onboard objects just from provided reference videos. Second, we defined a new, more practical 6D object detection task where identities of objects visible in a test image are not provided as input. Third, we introduced new BOP-H3 datasets recorded with high-resolution sensors and AR/VR headsets, closely resembling real-world scenarios. BOP-H3 include 3D models and onboarding videos to support both model-based and model-free tasks. Participants competed on seven challenge tracks, each defined by a task, object onboarding setup, and dataset group. Notably, the best 2024 method for model-based 6D localization of unseen objects (FreeZeV2.1) achieves 22% higher accuracy on BOP-Classic-Core than the best 2023 method (GenFlow), and is only 4% behind the best 2023 method for seen objects (GPose2023) although being significantly slower (24.9 vs 2.7s per image). A more practical 2024 method for this task is Co-op which takes only 0.8s per image and is 25X faster and 13% more accurate than GenFlow. Methods have a similar ranking on 6D detection as on 6D localization but higher run time. On model-based 2D detection of unseen objects, the best 2024 method (MUSE) achieves 21% relative improvement compared to the best 2023 method (CNOS). However, the 2D detection accuracy for unseen objects is still noticealy (-53%) behind the accuracy for seen objects (GDet2023). The online evaluation system stays open and is available at http://bop.felk.cvut.cz/