Target-Bench: I modelli mondiali possono raggiungere la pianificazione del percorso senza mappe con target semantici?

Target-Bench: Can World Models Achieve Mapless Path Planning with Semantic Targets?

November 21, 2025

Autori: Dingrui Wang, Hongyuan Ye, Zhihao Liang, Zhexiao Sun, Zhaowei Lu, Yuchen Zhang, Yuyu Zhao, Yuan Gao, Marvin Seegert, Finn Schäfer, Haotong Qin, Wei Li, Luigi Palmieri, Felix Jahncke, Mattia Piccinini, Johannes Betz

cs.AI

Abstract

Sebbene i recenti modelli mondiali generino video altamente realistici, la loro capacità di eseguire la pianificazione di percorsi robotici rimane poco chiara e non quantificata. Presentiamo Target-Bench, il primo benchmark specificamente progettato per valutare i modelli mondiali sulla pianificazione di percorsi senza mappe verso target semantici in ambienti del mondo reale. Target-Bench fornisce 450 sequenze video raccolte da robot, che coprono 45 categorie semantiche, con traiettorie di verità terreno basate su SLAM. La nostra pipeline di valutazione ricostruisce il moto della camera dai video generati e misura le prestazioni di pianificazione utilizzando cinque metriche complementari che quantificano la capacità di raggiungimento del target, l'accuratezza della traiettoria e la coerenza direzionale. Valutiamo modelli all'avanguardia tra cui Sora 2, Veo 3.1 e la serie Wan. Il miglior modello pronto all'uso (Wan2.2-Flash) raggiunge un punteggio complessivo di soli 0.299, rivelando significative limitazioni degli attuali modelli mondiali per compiti di pianificazione robotica. Dimostriamo che la messa a punto di un modello open-source da 5 miliardi di parametri su soli 325 scenari del nostro dataset consente di raggiungere un punteggio complessivo di 0.345 — un miglioramento di oltre il 400% rispetto alla sua versione base (0.066) e del 15% superiore al miglior modello pronto all'uso. Renderemo open-source il codice e il dataset.

English

While recent world models generate highly realistic videos, their ability to perform robot path planning remains unclear and unquantified. We introduce Target-Bench, the first benchmark specifically designed to evaluate world models on mapless path planning toward semantic targets in real-world environments. Target-Bench provides 450 robot-collected video sequences spanning 45 semantic categories with SLAM-based ground truth trajectories. Our evaluation pipeline recovers camera motion from generated videos and measures planning performance using five complementary metrics that quantify target-reaching capability, trajectory accuracy, and directional consistency. We evaluate state-of-the-art models including Sora 2, Veo 3.1, and the Wan series. The best off-the-shelf model (Wan2.2-Flash) achieves only 0.299 overall score, revealing significant limitations in current world models for robotic planning tasks. We show that fine-tuning an open-source 5B-parameter model on only 325 scenarios from our dataset achieves 0.345 overall score -- an improvement of more than 400% over its base version (0.066) and 15% higher than the best off-the-shelf model. We will open-source the code and dataset.