Target-Bench: Können Weltmodelle maplose Pfadplanung mit semantischen Zielen erreichen?
Target-Bench: Can World Models Achieve Mapless Path Planning with Semantic Targets?
November 21, 2025
papers.authors: Dingrui Wang, Hongyuan Ye, Zhihao Liang, Zhexiao Sun, Zhaowei Lu, Yuchen Zhang, Yuyu Zhao, Yuan Gao, Marvin Seegert, Finn Schäfer, Haotong Qin, Wei Li, Luigi Palmieri, Felix Jahncke, Mattia Piccinini, Johannes Betz
cs.AI
papers.abstract
Während aktuelle Weltmodelle hochrealistische Videos generieren, bleibt ihre Fähigkeit zur Roboterpfadplanung unklar und unquantifiziert. Wir stellen Target-Bench vor, den ersten Benchmark, der speziell zur Bewertung von Weltmodellen für kartenlose Pfadplanung zu semantischen Zielen in realen Umgebungen entwickelt wurde. Target-Bench bietet 450 robotergenerierte Videosequenzen aus 45 semantischen Kategorien mit SLAM-basierten Ground-Truth-Trajektorien. Unsere Evaluierungspipeline rekonstruiert die Kamerabewegung aus generierten Videos und misst die Planungsleistung anhand von fünf komplementären Metriken, die die Zielerreichungsfähigkeit, Trajektoriengenauigkeit und Richtungskonsistenz quantifizieren. Wir evaluieren state-of-the-art Modelle, darunter Sora 2, Veo 3.1 und die Wan-Serie. Das beste verfügbare Modell (Wan2.2-Flash) erreicht nur einen Gesamtscore von 0,299, was erhebliche Grenzen aktueller Weltmodelle für robotische Planungsaufgaben aufzeigt. Wir demonstrieren, dass das Feinabstimmen eines Open-Source-Modells mit 5B Parametern an nur 325 Szenarien unseres Datensatzes einen Gesamtscore von 0,345 erreicht – eine Verbesserung von über 400 % gegenüber der Basisversion (0,066) und 15 % höher als das beste verfügbare Modell. Wir werden den Code und den Datensatz open-source bereitstellen.
English
While recent world models generate highly realistic videos, their ability to perform robot path planning remains unclear and unquantified. We introduce Target-Bench, the first benchmark specifically designed to evaluate world models on mapless path planning toward semantic targets in real-world environments. Target-Bench provides 450 robot-collected video sequences spanning 45 semantic categories with SLAM-based ground truth trajectories. Our evaluation pipeline recovers camera motion from generated videos and measures planning performance using five complementary metrics that quantify target-reaching capability, trajectory accuracy, and directional consistency. We evaluate state-of-the-art models including Sora 2, Veo 3.1, and the Wan series. The best off-the-shelf model (Wan2.2-Flash) achieves only 0.299 overall score, revealing significant limitations in current world models for robotic planning tasks. We show that fine-tuning an open-source 5B-parameter model on only 325 scenarios from our dataset achieves 0.345 overall score -- an improvement of more than 400% over its base version (0.066) and 15% higher than the best off-the-shelf model. We will open-source the code and dataset.