AgentOdyssey: Генерация текстовых игр с открытым финалом и долгосрочным горизонтом для агентов непрерывного обучения в тестовое время

Аннотация

Чтобы агенты могли непрерывно учиться на основе взаимодействия с миром во время тестирования, они должны уметь эффективно исследовать, приобретать новые знания о мире и навыки, сохранять релевантный эпизодический опыт и строить долгосрочные планы. Для оценки этих ключевых способностей агентов непрерывного обучения во время тестирования мы представляем AgentOdyssey — новую оценочную среду, которая процедурно генерирует открытые текстовые игры с богатым набором сущностей, динамикой мира и долгосрочными задачами. Критически важно, что AgentOdyssey выходит за рамки традиционного для машинного обучения предположения о том, что обучение не происходит во время тестирования, помещая агентов в непрерывную долгосрочную среду, где обучение и логическое рассуждение чередуются на протяжении всего развертывания. Мы также предлагаем многоаспектную методологию оценки, которая измеряет не только прогресс в игре, но и предоставляет диагностические тесты на усвоение знаний о мире, эпизодическую память, исследование объектов и действий, разнообразие действий и стоимость модели. Мы оцениваем различные парадигмы агентов в сгенерированных играх. Наши экспериментальные результаты выявляют критические ограничения ключевых способностей агентов, а также факторы, влияющие на их значимый горизонт. Хотя производительность растет с использованием более мощных базовых моделей, даже лучший агент остается значительно ниже человеческого уровня, оставляя значительный простор для улучшений. Среди механизмов агентов мы обнаружили, что краткосрочная память приносит пользу нескольким парадигмам и является важным компонентом обучения агента во время тестирования.

English

For agents to learn continuously from interaction with the world at test time, they must be able to explore effectively, acquire new world knowledge and skills, retain relevant episodic experiences, and plan over long horizons. To evaluate these key abilities of test-time continual learning agents, we introduce AgentOdyssey, a novel evaluation framework that procedurally generates open-ended text games with rich entities, world dynamics, and long-horizon tasks. Critically, AgentOdyssey goes beyond the conventional machine learning assumption that learning does not occur at test time by placing agents in a continuous, long-horizon setting that interleaves learning and inference throughout deployment. We further propose a multifaceted evaluation methodology that measures not only game progress but also offers diagnostic tests on world knowledge acquisition, episodic memory, object and action exploration, action diversity, and model cost. We evaluate diverse agent paradigms in the generated games. Our experimental results reveal critical limits in agents' key abilities, as well as factors that influence their meaningful horizon. Although performance scales with stronger base models, even the top agent remains far below human performance, leaving substantial headroom for improvement. Among agent mechanisms, we find that short-term memory benefits multiple agent paradigms and is an important component of agent test-time training.