PokeGym: Um Benchmark Visual de Longo Horizonte para Modelos de Visão e Linguagem
PokeGym: A Visually-Driven Long-Horizon Benchmark for Vision-Language Models
April 9, 2026
Autores: Ruizhi Zhang, Ye Huang, Yuangang Pan, Chuanfu Shen, Zhilin Liu, Ting Xie, Wen Li, Lixin Duan
cs.AI
Resumo
Embora os Modelos de Visão e Linguagem (VLMs) tenham alcançado progressos notáveis na compreensão visual estática, sua implantação em ambientes complexos de embodiamento 3D permanece severamente limitada. Os benchmarks existentes sofrem de quatro deficiências críticas: (1) tarefas de percepção passiva contornam as dinâmicas interativas; (2) ambientes 2D simplificados falham em avaliar a percepção de profundidade; (3) o vazamento de estado privilegiado ignora o processamento visual genuíno; e (4) a avaliação humana é proibitivamente cara e não escalável. Apresentamos o PokeGym, um benchmark visual de longo horizonte instanciado dentro de Pokemon Legends: Z-A, um jogo de RPG de mundo aberto 3D visualmente complexo. O PokeGym aplica um isolamento rigoroso a nível de código: os agentes operam exclusivamente em observações RGB brutas, enquanto um avaliador independente verifica o sucesso via varredura de memória, garantindo uma tomada de decisão baseada puramente na visão e uma avaliação automatizada e escalável. O benchmark compreende 30 tarefas (30-220 passos) abrangendo cenários de navegação, interação e mistos, com três granularidades de instrução (Guiado Visualmente, Guiado por Etapas, Apenas Objetivo) para desconstruir sistematicamente as capacidades de fundamentação visual, raciocínio semântico e exploração autónoma. Nossa avaliação revela uma limitação fundamental dos VLMs atuais: a recuperação de *deadlocks* físicos, em vez do planeamento de alto nível, constitui o principal gargalo, com os *deadlocks* mostrando uma forte correlação negativa com o sucesso da tarefa. Além disso, descobrimos uma divergência metacognitiva: modelos mais fracos sofrem predominantemente de *Deadlocks Inconscientes* (alheios ao aprisionamento), enquanto modelos avançados exibem *Deadlocks Conscientes* (reconhecem o aprisionamento, mas falham em recuperar). Essas descobertas destacam a necessidade de integrar intuição espacial explícita nas arquiteturas de VLM. O código e o benchmark estarão disponíveis no GitHub.
English
While Vision-Language Models (VLMs) have achieved remarkable progress in static visual understanding, their deployment in complex 3D embodied environments remains severely limited. Existing benchmarks suffer from four critical deficiencies: (1) passive perception tasks circumvent interactive dynamics; (2) simplified 2D environments fail to assess depth perception; (3) privileged state leakage bypasses genuine visual processing; and (4) human evaluation is prohibitively expensive and unscalable. We introduce PokeGym, a visually-driven long-horizon benchmark instantiated within Pokemon Legends: Z-A, a visually complex 3D open-world Role-Playing Game. PokeGym enforces strict code-level isolation: agents operate solely on raw RGB observations while an independent evaluator verifies success via memory scanning, ensuring pure vision-based decision-making and automated, scalable assessment. The benchmark comprises 30 tasks (30-220 steps) spanning navigation, interaction, and mixed scenarios, with three instruction granularities (Visual-Guided, Step-Guided, Goal-Only) to systematically deconstruct visual grounding, semantic reasoning, and autonomous exploration capabilities. Our evaluation reveals a key limitation of current VLMs: physical deadlock recovery, rather than high-level planning, constitutes the primary bottleneck, with deadlocks showing a strong negative correlation with task success. Furthermore, we uncover a metacognitive divergence: weaker models predominantly suffer from Unaware Deadlocks (oblivious to entrapment), whereas advanced models exhibit Aware Deadlocks (recognizing entrapment yet failing to recover). These findings highlight the need to integrate explicit spatial intuition into VLM architectures. The code and benchmark will be available on GitHub.