OdysseyArena: Benchmarking von großen Sprachmodellen für langfristige, aktive und induktive Interaktionen
OdysseyArena: Benchmarking Large Language Models For Long-Horizon, Active and Inductive Interactions
February 5, 2026
Autoren: Fangzhi Xu, Hang Yan, Qiushi Sun, Jinyang Wu, Zixian Huang, Muye Huang, Jingyang Gong, Zichen Ding, Kanzhi Cheng, Yian Wang, Xinyu Che, Zeyi Sun, Jian Zhang, Zhangyue Yin, Haoran Luo, Xuanjing Huang, Ben Kao, Jun Liu, Qika Lin
cs.AI
Zusammenfassung
Die rasante Entwicklung großer Sprachmodelle (LLMs) hat die Entwicklung autonomer Agenten beschleunigt, die in der Lage sind, komplexe Umgebungen zu navigieren. Bisherige Evaluationen folgen jedoch primär einem deduktiven Paradigma, bei dem Agenten Aufgaben auf der Grundlage explizit vorgegebener Regeln und statischer Ziele ausführen, oft innerhalb begrenzter Planungshorizonte. Entscheidend ist, dass dabei die induktive Notwendigkeit vernachlässigt wird, dass Agenten latente Übergangsgesetze eigenständig aus Erfahrung entdecken müssen – die Grundvoraussetzung für agentenbezogene Vorausschau und strategische Kohärenz. Um diese Lücke zu schließen, führen wir OdysseyArena ein, das die Agenten-Evaluation auf langfristige, aktive und induktive Interaktionen ausrichtet. Wir formalisieren und instanziieren vier Grundbausteine, die abstrakte Übergangsdynamiken in konkrete interaktive Umgebungen übersetzen. Darauf aufbauend etablieren wir OdysseyArena-Lite für standardisierte Benchmark-Tests, mit einem Set von 120 Aufgaben zur Messung der induktiven Effizienz und langfristigen Entdeckungsfähigkeit eines Agenten. Darüber hinaus führen wir OdysseyArena-Challenge ein, um die Stabilität von Agenten unter extremen Interaktionshorizonten (z.B. > 200 Schritte) zu stresstesten. Umfangreiche Experimente mit mehr als 15 führenden LLMs zeigen, dass selbst Spitzenmodelle in induktiven Szenarien Defizite aufweisen, was einen kritischen Engpass bei der Verwirklichung autonomer Entdeckungsfähigkeiten in komplexen Umgebungen identifiziert. Unser Code und unsere Daten sind verfügbar unter https://github.com/xufangzhi/Odyssey-Arena.
English
The rapid advancement of Large Language Models (LLMs) has catalyzed the development of autonomous agents capable of navigating complex environments. However, existing evaluations primarily adopt a deductive paradigm, where agents execute tasks based on explicitly provided rules and static goals, often within limited planning horizons. Crucially, this neglects the inductive necessity for agents to discover latent transition laws from experience autonomously, which is the cornerstone for enabling agentic foresight and sustaining strategic coherence. To bridge this gap, we introduce OdysseyArena, which re-centers agent evaluation on long-horizon, active, and inductive interactions. We formalize and instantiate four primitives, translating abstract transition dynamics into concrete interactive environments. Building upon this, we establish OdysseyArena-Lite for standardized benchmarking, providing a set of 120 tasks to measure an agent's inductive efficiency and long-horizon discovery. Pushing further, we introduce OdysseyArena-Challenge to stress-test agent stability across extreme interaction horizons (e.g., > 200 steps). Extensive experiments on 15+ leading LLMs reveal that even frontier models exhibit a deficiency in inductive scenarios, identifying a critical bottleneck in the pursuit of autonomous discovery in complex environments. Our code and data are available at https://github.com/xufangzhi/Odyssey-Arena