OdysseyArena: Avaliação de Modelos de Linguagem de Grande Porte para Interações de Longo Prazo, Ativas e Indutivas
OdysseyArena: Benchmarking Large Language Models For Long-Horizon, Active and Inductive Interactions
February 5, 2026
Autores: Fangzhi Xu, Hang Yan, Qiushi Sun, Jinyang Wu, Zixian Huang, Muye Huang, Jingyang Gong, Zichen Ding, Kanzhi Cheng, Yian Wang, Xinyu Che, Zeyi Sun, Jian Zhang, Zhangyue Yin, Haoran Luo, Xuanjing Huang, Ben Kao, Jun Liu, Qika Lin
cs.AI
Resumo
O rápido avanço dos Grandes Modelos de Linguagem (LLMs) tem catalisado o desenvolvimento de agentes autônomos capazes de navegar em ambientes complexos. No entanto, as avaliações existentes adotam principalmente um paradigma dedutivo, no qual os agentes executam tarefas com base em regras explicitamente fornecidas e objetivos estáticos, frequentemente dentro de horizontes de planejamento limitados. Crucialmente, isso negligencia a necessidade indutiva de os agentes descobrirem leis de transição latentes a partir da experiência de forma autônoma, que é a pedra angular para permitir a previsão agentiva e sustentar a coerência estratégica. Para preencher essa lacuna, introduzimos a OdysseyArena, que recentraliza a avaliação de agentes em interações de longo horizonte, ativas e indutivas. Formalizamos e instanciamos quatro primitivas, traduzindo dinâmicas de transição abstratas em ambientes interativos concretos. Com base nisso, estabelecemos a OdysseyArena-Lite para benchmarking padronizado, fornecendo um conjunto de 120 tarefas para medir a eficiência indutiva e a descoberta de longo horizonte de um agente. Indo além, introduzimos a OdysseyArena-Challenge para testar a resistência da estabilidade do agente em horizontes de interação extremos (por exemplo, > 200 passos). Experimentos extensos com mais de 15 LLMs líderes revelam que mesmo os modelos de fronteira exibem uma deficiência em cenários indutivos, identificando um gargalo crítico na busca pela descoberta autônoma em ambientes complexos. Nosso código e dados estão disponíveis em https://github.com/xufangzhi/Odyssey-Arena.
English
The rapid advancement of Large Language Models (LLMs) has catalyzed the development of autonomous agents capable of navigating complex environments. However, existing evaluations primarily adopt a deductive paradigm, where agents execute tasks based on explicitly provided rules and static goals, often within limited planning horizons. Crucially, this neglects the inductive necessity for agents to discover latent transition laws from experience autonomously, which is the cornerstone for enabling agentic foresight and sustaining strategic coherence. To bridge this gap, we introduce OdysseyArena, which re-centers agent evaluation on long-horizon, active, and inductive interactions. We formalize and instantiate four primitives, translating abstract transition dynamics into concrete interactive environments. Building upon this, we establish OdysseyArena-Lite for standardized benchmarking, providing a set of 120 tasks to measure an agent's inductive efficiency and long-horizon discovery. Pushing further, we introduce OdysseyArena-Challenge to stress-test agent stability across extreme interaction horizons (e.g., > 200 steps). Extensive experiments on 15+ leading LLMs reveal that even frontier models exhibit a deficiency in inductive scenarios, identifying a critical bottleneck in the pursuit of autonomous discovery in complex environments. Our code and data are available at https://github.com/xufangzhi/Odyssey-Arena