PokeGym: 視覚主導型長期間推論のための視覚言語モデルベンチマーク

PokeGym: A Visually-Driven Long-Horizon Benchmark for Vision-Language Models

April 9, 2026

著者: Ruizhi Zhang, Ye Huang, Yuangang Pan, Chuanfu Shen, Zhilin Liu, Ting Xie, Wen Li, Lixin Duan

cs.AI

要旨

視覚言語モデル（VLM）は静的な視覚理解において顕著な進歩を遂げているが、複雑な3D体化環境への展開は依然として著しく限られている。既存のベンチマークは以下の4つの重大な欠点を抱えている：(1) 受動的知覚タスクがインタラクティブな力学を回避している；(2) 単純化された2D環境が深度知覚の評価を不可能にしている；(3) 特権状態の漏洩が真の視覚処理を迂回している；(4) 人的評価は費用がかかりすぎ、スケーラブルではない。我々は、視覚的に複雑な3DオープンワールドロールプレイングゲームであるPokemon Legends: Z-A内に実装された、視覚駆動型の長期ベンチマーク「PokeGym」を提案する。PokeGymは厳格なコードレベルでの分離を強制する：エージェントは生のRGB観測のみで動作し、独立した評価器がメモリスキャンによる成功検証を行うことで、純粋な視覚ベースの意思決定と自動化されたスケーラブルな評価を保証する。本ベンチマークは、ナビゲーション、インタラクション、複合シナリオにわたる30のタスク（30-220ステップ）で構成され、視覚的基礎付け、意味的推論、自律的探索能力を体系的に分解するための3つの指示粒度（視覚誘導、段階的誘導、目標のみ）を備える。評価結果から、現在のVLMの主要な限界が明らかになった：高レベルの計画ではなく、物理的なデッドロックからの回復が主要なボトルネックであり、デッドロックはタスク成功率と強い負の相関を示す。さらに、メタ認知的乖離を発見した：性能の低いモデルは主に「無自覚デッドロック」（閉じ込め状態への無自覚）に苦しむのに対し、先進的なモデルは「自覚的デッドロック」（閉じ込めを認識しながら回復に失敗する）を示す。これらの知見は、VLMアーキテクチャに明示的な空間直観を統合する必要性を浮き彫りにする。コードとベンチマークはGitHubで公開予定である。

English

While Vision-Language Models (VLMs) have achieved remarkable progress in static visual understanding, their deployment in complex 3D embodied environments remains severely limited. Existing benchmarks suffer from four critical deficiencies: (1) passive perception tasks circumvent interactive dynamics; (2) simplified 2D environments fail to assess depth perception; (3) privileged state leakage bypasses genuine visual processing; and (4) human evaluation is prohibitively expensive and unscalable. We introduce PokeGym, a visually-driven long-horizon benchmark instantiated within Pokemon Legends: Z-A, a visually complex 3D open-world Role-Playing Game. PokeGym enforces strict code-level isolation: agents operate solely on raw RGB observations while an independent evaluator verifies success via memory scanning, ensuring pure vision-based decision-making and automated, scalable assessment. The benchmark comprises 30 tasks (30-220 steps) spanning navigation, interaction, and mixed scenarios, with three instruction granularities (Visual-Guided, Step-Guided, Goal-Only) to systematically deconstruct visual grounding, semantic reasoning, and autonomous exploration capabilities. Our evaluation reveals a key limitation of current VLMs: physical deadlock recovery, rather than high-level planning, constitutes the primary bottleneck, with deadlocks showing a strong negative correlation with task success. Furthermore, we uncover a metacognitive divergence: weaker models predominantly suffer from Unaware Deadlocks (oblivious to entrapment), whereas advanced models exhibit Aware Deadlocks (recognizing entrapment yet failing to recover). These findings highlight the need to integrate explicit spatial intuition into VLM architectures. The code and benchmark will be available on GitHub.