OdysseyArena: Бенчмаркинг больших языковых моделей для долгосрочных, активных и индуктивных взаимодействий

OdysseyArena: Benchmarking Large Language Models For Long-Horizon, Active and Inductive Interactions

February 5, 2026

Авторы: Fangzhi Xu, Hang Yan, Qiushi Sun, Jinyang Wu, Zixian Huang, Muye Huang, Jingyang Gong, Zichen Ding, Kanzhi Cheng, Yian Wang, Xinyu Che, Zeyi Sun, Jian Zhang, Zhangyue Yin, Haoran Luo, Xuanjing Huang, Ben Kao, Jun Liu, Qika Lin

cs.AI

Аннотация

Быстрое развитие больших языковых моделей (LLM) стимулировало создание автономных агентов, способных ориентироваться в сложных средах. Однако существующие методы оценки в основном следуют дедуктивной парадигме, при которой агенты выполняют задачи на основе явно заданных правил и статических целей, часто в рамках ограниченных горизонтов планирования. Что особенно важно, это игнорирует индуктивную необходимость для агентов самостоятельно выявлять скрытые законы переходов из опыта, что является краеугольным камнем для обеспечения предвидения агентом и поддержания стратегической согласованности. Чтобы заполнить этот пробел, мы представляем OdysseyArena — среду, которая переориентирует оценку агентов на долгосрочные, активные и индуктивные взаимодействия. Мы формализуем и реализуем четыре примитива, преобразуя абстрактную динамику переходов в конкретные интерактивные среды. На основе этого мы создаем OdysseyArena-Lite для стандартизированного бенчмаркинга, предоставляя набор из 120 задач для измерения индуктивной эффективности агента и его способности к долгосрочным открытиям. Идя дальше, мы представляем OdysseyArena-Challenge для стресс-тестирования стабильности агентов в условиях экстремально длинных горизонтов взаимодействия (например, > 200 шагов). Масштабные эксперименты с более чем 15 ведущими LLM показывают, что даже передовые модели демонстрируют недостаточную эффективность в индуктивных сценариях, что указывает на критическое узкое место в стремлении к автономному открытию в сложных средах. Наш код и данные доступны по адресу https://github.com/xufangzhi/Odyssey-Arena.

English

The rapid advancement of Large Language Models (LLMs) has catalyzed the development of autonomous agents capable of navigating complex environments. However, existing evaluations primarily adopt a deductive paradigm, where agents execute tasks based on explicitly provided rules and static goals, often within limited planning horizons. Crucially, this neglects the inductive necessity for agents to discover latent transition laws from experience autonomously, which is the cornerstone for enabling agentic foresight and sustaining strategic coherence. To bridge this gap, we introduce OdysseyArena, which re-centers agent evaluation on long-horizon, active, and inductive interactions. We formalize and instantiate four primitives, translating abstract transition dynamics into concrete interactive environments. Building upon this, we establish OdysseyArena-Lite for standardized benchmarking, providing a set of 120 tasks to measure an agent's inductive efficiency and long-horizon discovery. Pushing further, we introduce OdysseyArena-Challenge to stress-test agent stability across extreme interaction horizons (e.g., > 200 steps). Extensive experiments on 15+ leading LLMs reveal that even frontier models exhibit a deficiency in inductive scenarios, identifying a critical bottleneck in the pursuit of autonomous discovery in complex environments. Our code and data are available at https://github.com/xufangzhi/Odyssey-Arena