OdysseyArena: Evaluación de Modelos de Lenguaje a Gran Escala para Interacciones Inductivas, Activas y de Largo Horizonte
OdysseyArena: Benchmarking Large Language Models For Long-Horizon, Active and Inductive Interactions
February 5, 2026
Autores: Fangzhi Xu, Hang Yan, Qiushi Sun, Jinyang Wu, Zixian Huang, Muye Huang, Jingyang Gong, Zichen Ding, Kanzhi Cheng, Yian Wang, Xinyu Che, Zeyi Sun, Jian Zhang, Zhangyue Yin, Haoran Luo, Xuanjing Huang, Ben Kao, Jun Liu, Qika Lin
cs.AI
Resumen
El rápido avance de los Modelos de Lenguaje a Gran Escala (LLMs) ha catalizado el desarrollo de agentes autónomos capaces de navegar en entornos complejos. Sin embargo, las evaluaciones existentes adoptan principalmente un paradigma deductivo, donde los agentes ejecutan tareas basándose en reglas explícitamente proporcionadas y objetivos estáticos, a menudo dentro de horizontes de planificación limitados. Crucialmente, esto descuida la necesidad inductiva de que los agentes descubran leyes de transición latentes a partir de la experiencia de forma autónoma, que es la piedra angular para permitir la previsión agéntica y sostener la coherencia estratégica. Para cerrar esta brecha, presentamos OdysseyArena, que reorienta la evaluación de agentes hacia interacciones inductivas, activas y de largo horizonte. Formalizamos e instanciamos cuatro primitivas, traduciendo dinámicas de transición abstractas en entornos interactivos concretos. Sobre esta base, establecemos OdysseyArena-Lite para la evaluación comparativa estandarizada, proporcionando un conjunto de 120 tareas para medir la eficiencia inductiva y el descubrimiento de largo horizonte de un agente. Yendo más allá, presentamos OdysseyArena-Challenge para someter a prueba de estrés la estabilidad de los agentes en horizontes de interacción extremos (por ejemplo, > 200 pasos). Experimentos exhaustivos con más de 15 LLMs líderes revelan que incluso los modelos más avanzados presentan deficiencias en escenarios inductivos, identificando un cuello de botella crítico en la búsqueda del descubrimiento autónomo en entornos complejos. Nuestro código y datos están disponibles en https://github.com/xufangzhi/Odyssey-Arena.
English
The rapid advancement of Large Language Models (LLMs) has catalyzed the development of autonomous agents capable of navigating complex environments. However, existing evaluations primarily adopt a deductive paradigm, where agents execute tasks based on explicitly provided rules and static goals, often within limited planning horizons. Crucially, this neglects the inductive necessity for agents to discover latent transition laws from experience autonomously, which is the cornerstone for enabling agentic foresight and sustaining strategic coherence. To bridge this gap, we introduce OdysseyArena, which re-centers agent evaluation on long-horizon, active, and inductive interactions. We formalize and instantiate four primitives, translating abstract transition dynamics into concrete interactive environments. Building upon this, we establish OdysseyArena-Lite for standardized benchmarking, providing a set of 120 tasks to measure an agent's inductive efficiency and long-horizon discovery. Pushing further, we introduce OdysseyArena-Challenge to stress-test agent stability across extreme interaction horizons (e.g., > 200 steps). Extensive experiments on 15+ leading LLMs reveal that even frontier models exhibit a deficiency in inductive scenarios, identifying a critical bottleneck in the pursuit of autonomous discovery in complex environments. Our code and data are available at https://github.com/xufangzhi/Odyssey-Arena