PokeGym: Een Visueel-Gedreven Lange-Termijn Benchmark voor Visie-Taalmodellen

Samenvatting

Hoewel Vision-Language Models (VLMs) een opmerkelijke vooruitgang hebben geboekt in statisch visueel begrip, blijft hun inzet in complexe 3D-omgevingen met belichaming ernstig beperkt. Bestaande benchmarks lijden onder vier kritieke tekortkomingen: (1) passieve perceptietaken omzeilen interactieve dynamiek; (2) vereenvoudigde 2D-omgevingen slagen er niet in dieptewaarneming te beoordelen; (3) het lekken van geprivilegieerde statusinformatie omzeilt echt visueel verwerken; en (4) humane evaluatie is verbijsterend duur en niet schaalbaar. Wij introduceren PokeGym, een visueel-gestuurde benchmark voor lange-termijntaken, geïnstantieerd binnen Pokémon Legends: Z-A, een visueel complex 3D open-wereld Role-Playing Game. PokeGym handhaaft strikte isolatie op code-niveau: agenten opereren uitsluitend op basis van ruwe RGB-waarnemingen, terwijl een onafhankelijke evaluator het succes verifieert via geheugenscannen. Dit garandeert zuiver op visie gebaseerde besluitvorming en geautomatiseerde, schaalbare beoordeling. De benchmark omvat 30 taken (30-220 stappen) die navigatie, interactie en gemengde scenario's bestrijken, met drie instructie-granulariteiten (Visueel-Gestuurd, Stap-voor-Stap-Gestuurd, Alleen-Doel) om visuele verankering, semantisch redeneren en autonome verkenning systematisch te deconstrueren. Onze evaluatie onthult een belangrijke beperking van huidige VLMs: het herstellen van fysieke impasses (deadlocks), in plaats van planning op hoog niveau, vormt de primaire bottleneck, waarbij impasses een sterke negatieve correlatie vertonen met taaksucces. Verder ontdekken we een metacognitieve divergentie: zwakkere modellen lijden vooral aan Onbewuste Impasses (zich niet bewust van insluiting), terwijl geavanceerdere modellen Bewuste Impasses vertonen (insluiting herkennen maar niet kunnen herstellen). Deze bevindingen benadrukken de noodzaak om expliciete ruimtelijke intuïtie te integreren in VLM-architecturen. De code en benchmark zullen beschikbaar zijn op GitHub.

English

While Vision-Language Models (VLMs) have achieved remarkable progress in static visual understanding, their deployment in complex 3D embodied environments remains severely limited. Existing benchmarks suffer from four critical deficiencies: (1) passive perception tasks circumvent interactive dynamics; (2) simplified 2D environments fail to assess depth perception; (3) privileged state leakage bypasses genuine visual processing; and (4) human evaluation is prohibitively expensive and unscalable. We introduce PokeGym, a visually-driven long-horizon benchmark instantiated within Pokemon Legends: Z-A, a visually complex 3D open-world Role-Playing Game. PokeGym enforces strict code-level isolation: agents operate solely on raw RGB observations while an independent evaluator verifies success via memory scanning, ensuring pure vision-based decision-making and automated, scalable assessment. The benchmark comprises 30 tasks (30-220 steps) spanning navigation, interaction, and mixed scenarios, with three instruction granularities (Visual-Guided, Step-Guided, Goal-Only) to systematically deconstruct visual grounding, semantic reasoning, and autonomous exploration capabilities. Our evaluation reveals a key limitation of current VLMs: physical deadlock recovery, rather than high-level planning, constitutes the primary bottleneck, with deadlocks showing a strong negative correlation with task success. Furthermore, we uncover a metacognitive divergence: weaker models predominantly suffer from Unaware Deadlocks (oblivious to entrapment), whereas advanced models exhibit Aware Deadlocks (recognizing entrapment yet failing to recover). These findings highlight the need to integrate explicit spatial intuition into VLM architectures. The code and benchmark will be available on GitHub.

PokeGym: Een Visueel-Gedreven Lange-Termijn Benchmark voor Visie-Taalmodellen

PokeGym: A Visually-Driven Long-Horizon Benchmark for Vision-Language Models

Samenvatting

Support