BOP Challenge 2024：モデルベースおよびモデルフリーの6次元物体姿勢推定

BOP Challenge 2024 on Model-Based and Model-Free 6D Object Pose Estimation

April 3, 2025

著者: Van Nguyen Nguyen, Stephen Tyree, Andrew Guo, Mederic Fourmy, Anas Gouda, Taeyeop Lee, Sungphill Moon, Hyeontae Son, Lukas Ranftl, Jonathan Tremblay, Eric Brachmann, Bertram Drost, Vincent Lepetit, Carsten Rother, Stan Birchfield, Jiri Matas, Yann Labbe, Martin Sundermeyer, Tomas Hodan

cs.AI

要旨

BOP Challenge 2024の評価手法、データセット、および結果を紹介します。これは、6D物体姿勢推定および関連タスクにおける最先端技術を把握するために開催された一連の公開コンペティションの第6回です。2024年において、私たちの目標は、BOPを実験室的な設定から実世界のシナリオへと移行させることでした。まず、3D物体モデルが利用できない新しいモデルフリータスクを導入し、提供された参照動画のみから物体をオンボーディングする必要がある手法を求めました。次に、テスト画像に映る物体の識別情報が入力として提供されない、より実用的な6D物体検出タスクを定義しました。さらに、高解像度センサーとAR/VRヘッドセットを使用して記録された新しいBOP-H3データセットを導入し、実世界のシナリオに近い環境を再現しました。BOP-H3には、モデルベースおよびモデルフリータスクをサポートするための3Dモデルとオンボーディング動画が含まれています。参加者は、タスク、物体オンボーディング設定、およびデータセットグループによって定義された7つのチャレンジトラックで競いました。特に、未見物体のモデルベース6D位置推定における2024年最良の手法（FreeZeV2.1）は、BOP-Classic-Coreにおいて2023年最良の手法（GenFlow）よりも22%高い精度を達成し、既知物体に対する2023年最良の手法（GPose2023）に比べてわずか4%遅れているものの、処理速度が大幅に遅い（24.9秒 vs 2.7秒/画像）ことが特徴です。このタスクにおいてより実用的な2024年の手法はCo-opであり、1画像あたり0.8秒しかかからず、GenFlowよりも25倍高速で13%高い精度を実現しています。6D検出における手法のランキングは6D位置推定と同様ですが、実行時間が長くなっています。未見物体のモデルベース2D検出において、2024年最良の手法（MUSE）は2023年最良の手法（CNOS）に比べて21%の相対的改善を達成しました。しかし、未見物体の2D検出精度は、既知物体に対する精度（GDet2023）に比べて依然として顕著に低い（-53%）状態です。オンライン評価システムは引き続き公開されており、http://bop.felk.cvut.cz/ で利用可能です。

English

We present the evaluation methodology, datasets and results of the BOP Challenge 2024, the sixth in a series of public competitions organized to capture the state of the art in 6D object pose estimation and related tasks. In 2024, our goal was to transition BOP from lab-like setups to real-world scenarios. First, we introduced new model-free tasks, where no 3D object models are available and methods need to onboard objects just from provided reference videos. Second, we defined a new, more practical 6D object detection task where identities of objects visible in a test image are not provided as input. Third, we introduced new BOP-H3 datasets recorded with high-resolution sensors and AR/VR headsets, closely resembling real-world scenarios. BOP-H3 include 3D models and onboarding videos to support both model-based and model-free tasks. Participants competed on seven challenge tracks, each defined by a task, object onboarding setup, and dataset group. Notably, the best 2024 method for model-based 6D localization of unseen objects (FreeZeV2.1) achieves 22% higher accuracy on BOP-Classic-Core than the best 2023 method (GenFlow), and is only 4% behind the best 2023 method for seen objects (GPose2023) although being significantly slower (24.9 vs 2.7s per image). A more practical 2024 method for this task is Co-op which takes only 0.8s per image and is 25X faster and 13% more accurate than GenFlow. Methods have a similar ranking on 6D detection as on 6D localization but higher run time. On model-based 2D detection of unseen objects, the best 2024 method (MUSE) achieves 21% relative improvement compared to the best 2023 method (CNOS). However, the 2D detection accuracy for unseen objects is still noticealy (-53%) behind the accuracy for seen objects (GDet2023). The online evaluation system stays open and is available at http://bop.felk.cvut.cz/