Target-Bench: Modelos Mundiais Podem Alcançar Planejamento de Trajetória sem Mapas com Alvos Semânticos?
Target-Bench: Can World Models Achieve Mapless Path Planning with Semantic Targets?
November 21, 2025
Autores: Dingrui Wang, Hongyuan Ye, Zhihao Liang, Zhexiao Sun, Zhaowei Lu, Yuchen Zhang, Yuyu Zhao, Yuan Gao, Marvin Seegert, Finn Schäfer, Haotong Qin, Wei Li, Luigi Palmieri, Felix Jahncke, Mattia Piccinini, Johannes Betz
cs.AI
Resumo
Embora os modelos mundiais recentes gerem vídeos altamente realistas, sua capacidade de realizar planejamento de trajetória robótica permanece pouco clara e não quantificada. Apresentamos o Target-Bench, o primeiro benchmark especificamente concebido para avaliar modelos mundiais no planejamento de trajetória sem mapa em direção a alvos semânticos em ambientes do mundo real. O Target-Bench fornece 450 sequências de vídeo coletadas por robôs, abrangendo 45 categorias semânticas, com trajetórias de referência baseadas em SLAM. Nossa pipeline de avaliação recupera o movimento da câmera a partir dos vídeos gerados e mede o desempenho do planejamento usando cinco métricas complementares que quantificam a capacidade de alcançar o alvo, a precisão da trajetória e a consistência direcional. Avaliamos modelos state-of-the-art, incluindo Sora 2, Veo 3.1 e a série Wan. O melhor modelo comercial disponível (Wan2.2-Flash) atinge apenas uma pontuação geral de 0,299, revelando limitações significativas nos modelos mundiais atuais para tarefas de planejamento robótico. Demonstramos que o fine-tuning de um modelo de código aberto com 5B de parâmetros em apenas 325 cenários do nosso conjunto de dados atinge uma pontuação geral de 0,345 — uma melhoria de mais de 400% em relação à sua versão base (0,066) e 15% superior ao melhor modelo comercial. O código e o conjunto de dados serão disponibilizados como open-source.
English
While recent world models generate highly realistic videos, their ability to perform robot path planning remains unclear and unquantified. We introduce Target-Bench, the first benchmark specifically designed to evaluate world models on mapless path planning toward semantic targets in real-world environments. Target-Bench provides 450 robot-collected video sequences spanning 45 semantic categories with SLAM-based ground truth trajectories. Our evaluation pipeline recovers camera motion from generated videos and measures planning performance using five complementary metrics that quantify target-reaching capability, trajectory accuracy, and directional consistency. We evaluate state-of-the-art models including Sora 2, Veo 3.1, and the Wan series. The best off-the-shelf model (Wan2.2-Flash) achieves only 0.299 overall score, revealing significant limitations in current world models for robotic planning tasks. We show that fine-tuning an open-source 5B-parameter model on only 325 scenarios from our dataset achieves 0.345 overall score -- an improvement of more than 400% over its base version (0.066) and 15% higher than the best off-the-shelf model. We will open-source the code and dataset.