オデッセイアリーナ：長期的・能動的・帰納的相互作用における大規模言語モデルのベンチマーキング

OdysseyArena: Benchmarking Large Language Models For Long-Horizon, Active and Inductive Interactions

February 5, 2026

著者: Fangzhi Xu, Hang Yan, Qiushi Sun, Jinyang Wu, Zixian Huang, Muye Huang, Jingyang Gong, Zichen Ding, Kanzhi Cheng, Yian Wang, Xinyu Che, Zeyi Sun, Jian Zhang, Zhangyue Yin, Haoran Luo, Xuanjing Huang, Ben Kao, Jun Liu, Qika Lin

cs.AI

要旨

大規模言語モデル（LLM）の急速な進歩は、複雑な環境を自律的に移動可能なエージェントの開発を促進してきた。しかし、既存の評価手法は主に演繹的パラダイムを採用しており、エージェントは明示的に与えられたルールと静的な目標に基づいて限定的な計画範囲内でタスクを実行する。重要なことに、これではエージェントが経験から潜在的な状態遷移法則を自律的に発見するという帰納的必然性が看過されており、これはエージェントの先見性と戦略的一貫性を実現する基盤である。この隔たりを埋めるため、我々は長期的・能動的・帰納的インタラクションに重点を置いた評価基盤「OdysseyArena」を提案する。抽象的状態遷移ダイナミクスを具体的な対話型環境へ変換する4つの基本要素を形式化し、実装する。さらに、標準化されたベンチマークとしてOdysseyArena-Liteを構築し、エージェントの帰納的効率性と長期的発見能力を測定する120のタスク群を提供する。更に発展させたOdysseyArena-Challengeでは、極端に長いインタラクション範囲（例：200ステップ超）におけるエージェントの安定性を厳密に検証する。15以上の先進的LLMを用いた大規模実験により、最先端モデルでさえ帰納的シナリオにおいて能力不足を示すことが明らかとなり、複雑環境における自律的発見を目指す上での重大なボトルネックが特定された。コードとデータはhttps://github.com/xufangzhi/Odyssey-Arenaで公開している。

English

The rapid advancement of Large Language Models (LLMs) has catalyzed the development of autonomous agents capable of navigating complex environments. However, existing evaluations primarily adopt a deductive paradigm, where agents execute tasks based on explicitly provided rules and static goals, often within limited planning horizons. Crucially, this neglects the inductive necessity for agents to discover latent transition laws from experience autonomously, which is the cornerstone for enabling agentic foresight and sustaining strategic coherence. To bridge this gap, we introduce OdysseyArena, which re-centers agent evaluation on long-horizon, active, and inductive interactions. We formalize and instantiate four primitives, translating abstract transition dynamics into concrete interactive environments. Building upon this, we establish OdysseyArena-Lite for standardized benchmarking, providing a set of 120 tasks to measure an agent's inductive efficiency and long-horizon discovery. Pushing further, we introduce OdysseyArena-Challenge to stress-test agent stability across extreme interaction horizons (e.g., > 200 steps). Extensive experiments on 15+ leading LLMs reveal that even frontier models exhibit a deficiency in inductive scenarios, identifying a critical bottleneck in the pursuit of autonomous discovery in complex environments. Our code and data are available at https://github.com/xufangzhi/Odyssey-Arena