BOP Challenge 2024 over Modelgebaseerde en Modelvrije 6D Objectpose-schatting

BOP Challenge 2024 on Model-Based and Model-Free 6D Object Pose Estimation

April 3, 2025

Auteurs: Van Nguyen Nguyen, Stephen Tyree, Andrew Guo, Mederic Fourmy, Anas Gouda, Taeyeop Lee, Sungphill Moon, Hyeontae Son, Lukas Ranftl, Jonathan Tremblay, Eric Brachmann, Bertram Drost, Vincent Lepetit, Carsten Rother, Stan Birchfield, Jiri Matas, Yann Labbe, Martin Sundermeyer, Tomas Hodan

cs.AI

Samenvatting

We presenteren de evaluatiemethodologie, datasets en resultaten van de BOP Challenge 2024, de zesde in een reeks van openbare competities die georganiseerd zijn om de stand van de techniek in 6D objectpose-estimatie en gerelateerde taken vast te leggen. In 2024 was ons doel om BOP te laten overstappen van laboratoriumachtige opstellingen naar realistische scenario's. Ten eerste introduceerden we nieuwe modelvrije taken, waarbij geen 3D objectmodellen beschikbaar zijn en methoden objecten moeten onboarden op basis van aangeleverde referentievideo's. Ten tweede definieerden we een nieuwe, praktischere 6D objectdetectietaak waarbij de identiteiten van objecten die zichtbaar zijn in een testafbeelding niet als invoer worden gegeven. Ten derde introduceerden we nieuwe BOP-H3 datasets, opgenomen met hoogresolutie sensoren en AR/VR headsets, die sterk lijken op realistische scenario's. BOP-H3 bevat 3D-modellen en onboardingsvideo's om zowel modelgebaseerde als modelvrije taken te ondersteunen. Deelnemers streden in zeven challenge tracks, elk gedefinieerd door een taak, objectonboardingsopstelling en datasetgroep. Opmerkelijk is dat de beste 2024-methode voor modelgebaseerde 6D lokalisatie van onbekende objecten (FreeZeV2.1) een 22% hogere nauwkeurigheid behaalt op BOP-Classic-Core dan de beste 2023-methode (GenFlow), en slechts 4% achterblijft bij de beste 2023-methode voor bekende objecten (GPose2023), hoewel deze aanzienlijk langzamer is (24,9 vs 2,7s per afbeelding). Een praktischere 2024-methode voor deze taak is Co-op, die slechts 0,8s per afbeelding nodig heeft en 25x sneller en 13% nauwkeuriger is dan GenFlow. Methoden hebben een vergelijkbare rangschikking bij 6D detectie als bij 6D lokalisatie, maar een hogere uitvoeringstijd. Bij modelgebaseerde 2D detectie van onbekende objecten behaalt de beste 2024-methode (MUSE) een relatieve verbetering van 21% ten opzichte van de beste 2023-methode (CNOS). De 2D detectienauwkeurigheid voor onbekende objecten blijft echter nog steeds aanzienlijk (-53%) achter bij de nauwkeurigheid voor bekende objecten (GDet2023). Het online evaluatiesysteem blijft open en is beschikbaar op http://bop.felk.cvut.cz/.

English

We present the evaluation methodology, datasets and results of the BOP Challenge 2024, the sixth in a series of public competitions organized to capture the state of the art in 6D object pose estimation and related tasks. In 2024, our goal was to transition BOP from lab-like setups to real-world scenarios. First, we introduced new model-free tasks, where no 3D object models are available and methods need to onboard objects just from provided reference videos. Second, we defined a new, more practical 6D object detection task where identities of objects visible in a test image are not provided as input. Third, we introduced new BOP-H3 datasets recorded with high-resolution sensors and AR/VR headsets, closely resembling real-world scenarios. BOP-H3 include 3D models and onboarding videos to support both model-based and model-free tasks. Participants competed on seven challenge tracks, each defined by a task, object onboarding setup, and dataset group. Notably, the best 2024 method for model-based 6D localization of unseen objects (FreeZeV2.1) achieves 22% higher accuracy on BOP-Classic-Core than the best 2023 method (GenFlow), and is only 4% behind the best 2023 method for seen objects (GPose2023) although being significantly slower (24.9 vs 2.7s per image). A more practical 2024 method for this task is Co-op which takes only 0.8s per image and is 25X faster and 13% more accurate than GenFlow. Methods have a similar ranking on 6D detection as on 6D localization but higher run time. On model-based 2D detection of unseen objects, the best 2024 method (MUSE) achieves 21% relative improvement compared to the best 2023 method (CNOS). However, the 2D detection accuracy for unseen objects is still noticealy (-53%) behind the accuracy for seen objects (GDet2023). The online evaluation system stays open and is available at http://bop.felk.cvut.cz/