Target-Bench: ¿Pueden los Modelos del Mundo Lograr la Planificación de Trayectorias sin Mapas con Objetivos Semánticos?

Target-Bench: Can World Models Achieve Mapless Path Planning with Semantic Targets?

November 21, 2025

Autores: Dingrui Wang, Hongyuan Ye, Zhihao Liang, Zhexiao Sun, Zhaowei Lu, Yuchen Zhang, Yuyu Zhao, Yuan Gao, Marvin Seegert, Finn Schäfer, Haotong Qin, Wei Li, Luigi Palmieri, Felix Jahncke, Mattia Piccinini, Johannes Betz

cs.AI

Resumen

Si bien los modelos mundiales recientes generan videos altamente realistas, su capacidad para realizar planificación de trayectorias robóticas sigue siendo poco clara y no cuantificada. Presentamos Target-Bench, el primer benchmark diseñado específicamente para evaluar modelos mundiales en la planificación de trayectorias sin mapas hacia objetivos semánticos en entornos del mundo real. Target-Bench proporciona 450 secuencias de video recopiladas por robots que abarcan 45 categorías semánticas con trayectorias de referencia basadas en SLAM. Nuestra canalización de evaluación recupera el movimiento de la cámara a partir de los videos generados y mide el rendimiento de la planificación utilizando cinco métricas complementarias que cuantifican la capacidad de alcance del objetivo, la precisión de la trayectoria y la consistencia direccional. Evaluamos modelos de última generación, incluidos Sora 2, Veo 3.1 y la serie Wan. El mejor modelo disponible comercialmente (Wan2.2-Flash) alcanza solo una puntuación general de 0.299, revelando limitaciones significativas en los modelos mundiales actuales para tareas de planificación robótica. Demostramos que el ajuste fino de un modelo de código abierto con 5B parámetros en solo 325 escenarios de nuestro conjunto de datos alcanza una puntuación general de 0.345, lo que supone una mejora de más del 400 % sobre su versión base (0.066) y un 15 % más que el mejor modelo comercial. Liberaremos el código y el conjunto de datos como código abierto.

English

While recent world models generate highly realistic videos, their ability to perform robot path planning remains unclear and unquantified. We introduce Target-Bench, the first benchmark specifically designed to evaluate world models on mapless path planning toward semantic targets in real-world environments. Target-Bench provides 450 robot-collected video sequences spanning 45 semantic categories with SLAM-based ground truth trajectories. Our evaluation pipeline recovers camera motion from generated videos and measures planning performance using five complementary metrics that quantify target-reaching capability, trajectory accuracy, and directional consistency. We evaluate state-of-the-art models including Sora 2, Veo 3.1, and the Wan series. The best off-the-shelf model (Wan2.2-Flash) achieves only 0.299 overall score, revealing significant limitations in current world models for robotic planning tasks. We show that fine-tuning an open-source 5B-parameter model on only 325 scenarios from our dataset achieves 0.345 overall score -- an improvement of more than 400% over its base version (0.066) and 15% higher than the best off-the-shelf model. We will open-source the code and dataset.