Target-Bench: 世界モデルはセマンティックターゲットを用いたマップレス経路計画を実現できるか？

要旨

近年、世界モデルは非常にリアルな動画を生成するが、ロボットの経路計画を実行する能力は不明瞭で定量的に評価されていなかった。本研究では、実世界環境におけるセマンティックターゲットへのマップレス経路計画において、世界モデルを評価するために特別に設計された初のベンチマーク「Target-Bench」を提案する。Target-Benchは、45のセマンティックカテゴリにわたる450のロボット収集ビデオシーケンスと、SLAMベースのグラウンドトゥルース軌跡を提供する。我々の評価パイプラインは、生成された動画からカメラ運動を復元し、ターゲット到達能力、軌跡精度、方向一貫性を定量化する5つの相補的指標を用いて計画性能を測定する。Sora 2、Veo 3.1、Wanシリーズを含む最先端モデルを評価した。最高性能のオフ・ザ・シェルフモデル（Wan2.2-Flash）の総合スコアはわずか0.299であり、ロボット計画タスクにおける現在の世界モデルの重大な限界が明らかになった。オープンソースの5Bパラメータモデルを、データセット内のわずか325シナリオでファインチューニングすると、総合スコア0.345を達成した—これはベースバージョン（0.066）よりも400%以上、最高のオフ・ザ・シェルフモデルよりも15%高い改善である。コードとデータセットはオープンソース化する予定である。

English

While recent world models generate highly realistic videos, their ability to perform robot path planning remains unclear and unquantified. We introduce Target-Bench, the first benchmark specifically designed to evaluate world models on mapless path planning toward semantic targets in real-world environments. Target-Bench provides 450 robot-collected video sequences spanning 45 semantic categories with SLAM-based ground truth trajectories. Our evaluation pipeline recovers camera motion from generated videos and measures planning performance using five complementary metrics that quantify target-reaching capability, trajectory accuracy, and directional consistency. We evaluate state-of-the-art models including Sora 2, Veo 3.1, and the Wan series. The best off-the-shelf model (Wan2.2-Flash) achieves only 0.299 overall score, revealing significant limitations in current world models for robotic planning tasks. We show that fine-tuning an open-source 5B-parameter model on only 325 scenarios from our dataset achieves 0.345 overall score -- an improvement of more than 400% over its base version (0.066) and 15% higher than the best off-the-shelf model. We will open-source the code and dataset.

Target-Bench: 世界モデルはセマンティックターゲットを用いたマップレス経路計画を実現できるか？

Target-Bench: Can World Models Achieve Mapless Path Planning with Semantic Targets?

要旨

Support