PokeGym: Un Benchmark Visivo a Lungo Termine per Modelli Visione-Linguaggio

PokeGym: A Visually-Driven Long-Horizon Benchmark for Vision-Language Models

April 9, 2026

Autori: Ruizhi Zhang, Ye Huang, Yuangang Pan, Chuanfu Shen, Zhilin Liu, Ting Xie, Wen Li, Lixin Duan

cs.AI

Abstract

Sebbene i Modelli Visione-Linguaggio (VLM) abbiano compiuto progressi notevoli nella comprensione visiva statica, il loro dispiegamento in ambienti incarnati (embodied) 3D complessi rimane fortemente limitato. I benchmark esistenti presentano quattro carenze critiche: (1) i compiti di percezione passiva eludono le dinamiche interattive; (2) ambienti 2D semplificati non consentono di valutare la percezione della profondità; (3) la fuoriuscita di informazioni di stato privilegiate bypassa l'elaborazione visiva genuina; e (4) la valutazione umana è economicamente proibitiva e non scalabile. Introduciamo PokeGym, un benchmark visivo a lungo orizzonte istanziato all'interno di *Pokemon Legends: Z-A*, un gioco di ruolo open-world 3D visivamente complesso. PokeGym applica un isolamento rigoroso a livello di codice: gli agenti operano esclusivamente su osservazioni RGB grezze, mentre un valutatore indipendente verifica il successo tramite scansione della memoria, garantendo un processo decisionale puramente basato sulla vista e una valutazione automatizzata e scalabile. Il benchmark comprende 30 compiti (30-220 passi) che spaziano tra scenari di navigazione, interazione e misti, con tre granularità di istruzione (Guidata Visivamente, Guidata a Passi, Solo Obiettivo) per decostruire sistematicamente le capacità di grounding visivo, ragionamento semantico ed esplorazione autonoma. La nostra valutazione rivela una limitazione chiave degli attuali VLM: il recupero da situazioni di stallo fisico (deadlock), piuttosto che la pianificazione di alto livello, costituisce il collo di bottiglia principale, con i deadlock che mostrano una forte correlazione negativa con il successo del compito. Inoltre, scopriamo una divergenza metacognitiva: i modelli più deboli soffrono principalmente di Deadlock Inconsapevoli (non avvertono l'intrappolamento), mentre i modelli avanzati mostrano Deadlock Consapevoli (riconoscono l'intrappolamento ma non riescono a recuperare). Questi risultati evidenziano la necessità di integrare un'intuizione spaziale esplicita all'interno delle architetture dei VLM. Il codice e il benchmark saranno disponibili su GitHub.

English

While Vision-Language Models (VLMs) have achieved remarkable progress in static visual understanding, their deployment in complex 3D embodied environments remains severely limited. Existing benchmarks suffer from four critical deficiencies: (1) passive perception tasks circumvent interactive dynamics; (2) simplified 2D environments fail to assess depth perception; (3) privileged state leakage bypasses genuine visual processing; and (4) human evaluation is prohibitively expensive and unscalable. We introduce PokeGym, a visually-driven long-horizon benchmark instantiated within Pokemon Legends: Z-A, a visually complex 3D open-world Role-Playing Game. PokeGym enforces strict code-level isolation: agents operate solely on raw RGB observations while an independent evaluator verifies success via memory scanning, ensuring pure vision-based decision-making and automated, scalable assessment. The benchmark comprises 30 tasks (30-220 steps) spanning navigation, interaction, and mixed scenarios, with three instruction granularities (Visual-Guided, Step-Guided, Goal-Only) to systematically deconstruct visual grounding, semantic reasoning, and autonomous exploration capabilities. Our evaluation reveals a key limitation of current VLMs: physical deadlock recovery, rather than high-level planning, constitutes the primary bottleneck, with deadlocks showing a strong negative correlation with task success. Furthermore, we uncover a metacognitive divergence: weaker models predominantly suffer from Unaware Deadlocks (oblivious to entrapment), whereas advanced models exhibit Aware Deadlocks (recognizing entrapment yet failing to recover). These findings highlight the need to integrate explicit spatial intuition into VLM architectures. The code and benchmark will be available on GitHub.