OdysseyArena: Valutazione dei Modelli Linguistici di Grandi Dimensioni per Interazioni a Lungo Orizzonte, Attive e Induttive

OdysseyArena: Benchmarking Large Language Models For Long-Horizon, Active and Inductive Interactions

February 5, 2026

Autori: Fangzhi Xu, Hang Yan, Qiushi Sun, Jinyang Wu, Zixian Huang, Muye Huang, Jingyang Gong, Zichen Ding, Kanzhi Cheng, Yian Wang, Xinyu Che, Zeyi Sun, Jian Zhang, Zhangyue Yin, Haoran Luo, Xuanjing Huang, Ben Kao, Jun Liu, Qika Lin

cs.AI

Abstract

I rapidi progressi dei Modelli Linguistici di Grande Dimensione (LLM) hanno catalizzato lo sviluppo di agenti autonomi in grado di navigare in ambienti complessi. Tuttavia, le valutazioni esistenti adottano principalmente un paradigma deduttivo, in cui gli agenti eseguono compiti basandosi su regole esplicitamente fornite e obiettivi statici, spesso entro orizzonti di pianificazione limitati. In modo cruciale, questo approccio trascura la necessità induttiva per gli agenti di scoprire autonomamente leggi di transizione latenti dall'esperienza, che è la pietra angolare per abilitare la previsione agentica e sostenere la coerenza strategica. Per colmare questa lacuna, introduciamo OdysseyArena, che ri-centra la valutazione degli agenti su interazioni a lungo termine, attive e induttive. Formalizziamo e istanziamo quattro primitive, traducendo dinamiche di transizione astratte in ambienti interattivi concreti. Sulla base di ciò, stabiliamo OdysseyArena-Lite per benchmarking standardizzato, fornendo un set di 120 compiti per misurare l'efficienza induttiva e la scoperta a lungo termine di un agente. Spingendoci oltre, introduciamo OdysseyArena-Challenge per testare la stabilità degli agenti in condizioni di stress attraverso orizzonti interattivi estremi (ad esempio, > 200 passi). Esperimenti estesi su oltre 15 LLM all'avanguardia rivelano che anche i modelli più avanzati presentano carenze negli scenari induttivi, identificando un collo di bottiglia critico nel perseguimento della scoperta autonoma in ambienti complessi. Il nostro codice e i nostri dati sono disponibili all'indirizzo https://github.com/xufangzhi/Odyssey-Arena.

English

The rapid advancement of Large Language Models (LLMs) has catalyzed the development of autonomous agents capable of navigating complex environments. However, existing evaluations primarily adopt a deductive paradigm, where agents execute tasks based on explicitly provided rules and static goals, often within limited planning horizons. Crucially, this neglects the inductive necessity for agents to discover latent transition laws from experience autonomously, which is the cornerstone for enabling agentic foresight and sustaining strategic coherence. To bridge this gap, we introduce OdysseyArena, which re-centers agent evaluation on long-horizon, active, and inductive interactions. We formalize and instantiate four primitives, translating abstract transition dynamics into concrete interactive environments. Building upon this, we establish OdysseyArena-Lite for standardized benchmarking, providing a set of 120 tasks to measure an agent's inductive efficiency and long-horizon discovery. Pushing further, we introduce OdysseyArena-Challenge to stress-test agent stability across extreme interaction horizons (e.g., > 200 steps). Extensive experiments on 15+ leading LLMs reveal that even frontier models exhibit a deficiency in inductive scenarios, identifying a critical bottleneck in the pursuit of autonomous discovery in complex environments. Our code and data are available at https://github.com/xufangzhi/Odyssey-Arena