PokeGym: Un Punto de Referencia Visual de Largo Horizonte para Modelos de Visión y Lenguaje

PokeGym: A Visually-Driven Long-Horizon Benchmark for Vision-Language Models

April 9, 2026

Autores: Ruizhi Zhang, Ye Huang, Yuangang Pan, Chuanfu Shen, Zhilin Liu, Ting Xie, Wen Li, Lixin Duan

cs.AI

Resumen

Si bien los Modelos de Visión y Lenguaje (VLM) han logrado avances notables en la comprensión visual estática, su despliegue en entornos complejos de interacción 3D sigue estando severamente limitado. Los puntos de referencia existentes adolecen de cuatro deficiencias críticas: (1) las tareas de percepción pasiva eluden las dinámicas interactivas; (2) los entornos 2D simplificados no logran evaluar la percepción de profundidad; (3) la fuga de información de estado privilegiado evita el procesamiento visual genuino; y (4) la evaluación humana resulta prohibitivamente costosa y no escalable. Presentamos PokeGym, un punto de referencia de largo horizonte basado únicamente en visión, instanciado en Pokemon Legends: Z-A, un juego de rol de mundo abierto 3D visualmente complejo. PokeGym aplica un aislamiento estricto a nivel de código: los agentes operan únicamente sobre observaciones RGB en bruto, mientras que un evaluador independiente verifica el éxito mediante escaneo de memoria, garantizando una toma de decisiones basada puramente en visión y una evaluación automatizada y escalable. El benchmark comprende 30 tareas (30-220 pasos) que abarcan escenarios de navegación, interacción y mixtos, con tres niveles de granularidad en las instrucciones (Guiado Visual, Guiado por Pasos, Solo Objetivo) para deconstruir sistemáticamente las capacidades de conexión visual, razonamiento semántico y exploración autónoma. Nuestra evaluación revela una limitación clave de los VLM actuales: la recuperación de bloqueos físicos, más que la planificación de alto nivel, constituye el principal cuello de botella, mostrando los bloqueos una fuerte correlación negativa con el éxito de la tarea. Además, descubrimos una divergencia metacognitiva: los modelos más débiles sufren predominantemente de Bloqueos No Conscientes (inconscientes del atrapamiento), mientras que los modelos avanzados exhiben Bloqueos Conscientes (reconocen el atrapamiento pero no logran recuperarse). Estos hallazgos subrayan la necesidad de integrar una intuición espacial explícita en las arquitecturas de los VLM. El código y el benchmark estarán disponibles en GitHub.

English

While Vision-Language Models (VLMs) have achieved remarkable progress in static visual understanding, their deployment in complex 3D embodied environments remains severely limited. Existing benchmarks suffer from four critical deficiencies: (1) passive perception tasks circumvent interactive dynamics; (2) simplified 2D environments fail to assess depth perception; (3) privileged state leakage bypasses genuine visual processing; and (4) human evaluation is prohibitively expensive and unscalable. We introduce PokeGym, a visually-driven long-horizon benchmark instantiated within Pokemon Legends: Z-A, a visually complex 3D open-world Role-Playing Game. PokeGym enforces strict code-level isolation: agents operate solely on raw RGB observations while an independent evaluator verifies success via memory scanning, ensuring pure vision-based decision-making and automated, scalable assessment. The benchmark comprises 30 tasks (30-220 steps) spanning navigation, interaction, and mixed scenarios, with three instruction granularities (Visual-Guided, Step-Guided, Goal-Only) to systematically deconstruct visual grounding, semantic reasoning, and autonomous exploration capabilities. Our evaluation reveals a key limitation of current VLMs: physical deadlock recovery, rather than high-level planning, constitutes the primary bottleneck, with deadlocks showing a strong negative correlation with task success. Furthermore, we uncover a metacognitive divergence: weaker models predominantly suffer from Unaware Deadlocks (oblivious to entrapment), whereas advanced models exhibit Aware Deadlocks (recognizing entrapment yet failing to recover). These findings highlight the need to integrate explicit spatial intuition into VLM architectures. The code and benchmark will be available on GitHub.