PokeGym: Визуально-ориентированный бенчмарк для проверки долгосрочных рассуждений в Vision-Language моделях

PokeGym: A Visually-Driven Long-Horizon Benchmark for Vision-Language Models

April 9, 2026

Авторы: Ruizhi Zhang, Ye Huang, Yuangang Pan, Chuanfu Shen, Zhilin Liu, Ting Xie, Wen Li, Lixin Duan

cs.AI

Аннотация

Хотя модели «визуальный язык» (VLM) достигли значительного прогресса в статическом визуальном понимании, их применение в сложных воплощенных 3D-средах остается крайне ограниченным. Существующие бенчмарки страдают от четырех критических недостатков: (1) задачи пассивного восприятия обходят стороной интерактивную динамику; (2) упрощенные 2D-среды не позволяют оценить восприятие глубины; (3) утечка привилегированного состояния обходит подлинную визуальную обработку; и (4) человеческая оценка чрезмерно дорога и не масштабируема. Мы представляем PokeGym, визуально-управляемый бенчмарк для долгосрочного планирования, реализованный в рамках игры Pokemon Legends: Z-A — визуально сложной 3D-ролевой игры с открытым миром. PokeGym обеспечивает строгую изоляцию на уровне кода: агенты работают исключительно с сырыми RGB-наблюдениями, в то время как независимый оценщик проверяет успех через сканирование памяти, гарантируя принятие решений на основе чистого зрения и автоматизированную, масштабируемую оценку. Бенчмарк включает 30 задач (30–220 шагов), охватывающих навигацию, взаимодействие и смешанные сценарии, с тремя уровнями детализации инструкций (визуально-направляемые, пошагово-направляемые, только цель) для систематического анализа возможностей визуального заземления, семантического мышления и автономного исследования. Наша оценка выявляет ключевое ограничение современных VLM: основным узким местом является не планирование высокого уровня, а восстановление после физического тупика, причем тупики демонстрируют сильную отрицательную корреляцию с успешностью задачи. Кроме того, мы обнаруживаем метакогнитивное расхождение: более слабые модели в основном страдают от «Неосознанных тупиков» (не замечают попадания в ловушку), тогда как продвинутые модели демонстрируют «Осознанные тупики» (распознают ловушку, но не могут из нее выйти). Эти результаты подчеркивают необходимость интеграции явного пространственного intuition в архитектуры VLM. Код и бенчмарк будут доступны на GitHub.

English

While Vision-Language Models (VLMs) have achieved remarkable progress in static visual understanding, their deployment in complex 3D embodied environments remains severely limited. Existing benchmarks suffer from four critical deficiencies: (1) passive perception tasks circumvent interactive dynamics; (2) simplified 2D environments fail to assess depth perception; (3) privileged state leakage bypasses genuine visual processing; and (4) human evaluation is prohibitively expensive and unscalable. We introduce PokeGym, a visually-driven long-horizon benchmark instantiated within Pokemon Legends: Z-A, a visually complex 3D open-world Role-Playing Game. PokeGym enforces strict code-level isolation: agents operate solely on raw RGB observations while an independent evaluator verifies success via memory scanning, ensuring pure vision-based decision-making and automated, scalable assessment. The benchmark comprises 30 tasks (30-220 steps) spanning navigation, interaction, and mixed scenarios, with three instruction granularities (Visual-Guided, Step-Guided, Goal-Only) to systematically deconstruct visual grounding, semantic reasoning, and autonomous exploration capabilities. Our evaluation reveals a key limitation of current VLMs: physical deadlock recovery, rather than high-level planning, constitutes the primary bottleneck, with deadlocks showing a strong negative correlation with task success. Furthermore, we uncover a metacognitive divergence: weaker models predominantly suffer from Unaware Deadlocks (oblivious to entrapment), whereas advanced models exhibit Aware Deadlocks (recognizing entrapment yet failing to recover). These findings highlight the need to integrate explicit spatial intuition into VLM architectures. The code and benchmark will be available on GitHub.