Target-Bench: Kunnen wereldmodellen padplanning zonder kaarten bereiken met semantische doelen?
Target-Bench: Can World Models Achieve Mapless Path Planning with Semantic Targets?
November 21, 2025
Auteurs: Dingrui Wang, Hongyuan Ye, Zhihao Liang, Zhexiao Sun, Zhaowei Lu, Yuchen Zhang, Yuyu Zhao, Yuan Gao, Marvin Seegert, Finn Schäfer, Haotong Qin, Wei Li, Luigi Palmieri, Felix Jahncke, Mattia Piccinini, Johannes Betz
cs.AI
Samenvatting
Hoewel recente wereldmodellen zeer realistische video's genereren, blijft hun vermogen om robotpadplanning uit te voeren onduidelijk en niet gekwantificeerd. Wij introduceren Target-Bench, de eerste benchmark die specifiek is ontworpen om wereldmodellen te evalueren op kaartloze padplanning naar semantische doelen in real-world omgevingen. Target-Bench biedt 450 door robots verzamelde videosequenties verspreid over 45 semantische categorieën, met op SLAM gebaseerde grondwaarheidstrajecten. Onze evaluatiepipeline herstelt de camerabeweging uit gegenereerde video's en meet de planningsprestatie met vijf complementaire metrieken die de doelbereikbaarheid, trajectnauwkeurigheid en directionele consistentie kwantificeren. Wij evalueren state-of-the-art modellen, waaronder Sora 2, Veo 3.1 en de Wan-reeks. Het beste kant-en-klare model (Wan2.2-Flash) behaalt slechts een algemene score van 0.299, wat significante beperkingen van huidige wereldmodellen voor robotplanningstaken aan het licht brengt. Wij tonen aan dat het finetunen van een open-source model met 5B parameters op slechts 325 scenario's uit onze dataset een algemene score van 0.345 oplevert – een verbetering van meer dan 400% ten opzichte van de basisversie (0.066) en 15% hoger dan het beste kant-en-klare model. Wij zullen de code en dataset open source maken.
English
While recent world models generate highly realistic videos, their ability to perform robot path planning remains unclear and unquantified. We introduce Target-Bench, the first benchmark specifically designed to evaluate world models on mapless path planning toward semantic targets in real-world environments. Target-Bench provides 450 robot-collected video sequences spanning 45 semantic categories with SLAM-based ground truth trajectories. Our evaluation pipeline recovers camera motion from generated videos and measures planning performance using five complementary metrics that quantify target-reaching capability, trajectory accuracy, and directional consistency. We evaluate state-of-the-art models including Sora 2, Veo 3.1, and the Wan series. The best off-the-shelf model (Wan2.2-Flash) achieves only 0.299 overall score, revealing significant limitations in current world models for robotic planning tasks. We show that fine-tuning an open-source 5B-parameter model on only 325 scenarios from our dataset achieves 0.345 overall score -- an improvement of more than 400% over its base version (0.066) and 15% higher than the best off-the-shelf model. We will open-source the code and dataset.