AgentOdyssey: 테스트 시점에서의 지속적 학습 에이전트를 위한 개방형 장기적 텍스트 게임 생성

초록

에이전트가 테스트 시점에 세계와의 상호작용을 통해 지속적으로 학습하려면 효과적으로 탐색하고, 새로운 세계 지식과 기술을 습득하며, 관련 일화적 경험을 유지하고, 장기적인 지평에 걸쳐 계획을 수립할 수 있어야 한다. 이러한 테스트 시점 지속 학습 에이전트의 핵심 능력을 평가하기 위해, 우리는 AgentOdyssey를 도입한다. 이는 풍부한 개체, 세계 역학, 그리고 장기 과제를 갖춘 개방형 텍스트 게임을 절차적으로 생성하는 새로운 평가 프레임워크이다. 중요한 점은 AgentOdyssey가 학습이 테스트 시점에 발생하지 않는다는 전통적인 머신러닝 가정을 넘어서, 에이전트를 배포 과정 내내 학습과 추론이 교차되는 지속적이고 장기적인 환경에 배치한다는 것이다. 또한 우리는 다각적인 평가 방법론을 제안하는데, 이는 게임 진행 상황뿐만 아니라 세계 지식 습득, 일화 기억, 객체 및 행동 탐색, 행동 다양성, 모델 비용에 대한 진단 테스트를 제공한다. 생성된 게임에서 다양한 에이전트 패러다임을 평가한 결과, 실험 결과는 에이전트의 핵심 능력에 중대한 한계와 그들의 의미 있는 지평에 영향을 미치는 요소들을 드러낸다. 성능이 더 강력한 기본 모델에 따라 확장되지만, 최고 성능의 에이전트조차 인간 수준에 훨씬 미치지 못하여 상당한 개선 여지를 남긴다. 에이전트 메커니즘 중에서는 단기 기억이 여러 에이전트 패러다임에 이점을 제공하며 에이전트 테스트 시점 훈련의 중요한 구성 요소임을 발견했다.

English

For agents to learn continuously from interaction with the world at test time, they must be able to explore effectively, acquire new world knowledge and skills, retain relevant episodic experiences, and plan over long horizons. To evaluate these key abilities of test-time continual learning agents, we introduce AgentOdyssey, a novel evaluation framework that procedurally generates open-ended text games with rich entities, world dynamics, and long-horizon tasks. Critically, AgentOdyssey goes beyond the conventional machine learning assumption that learning does not occur at test time by placing agents in a continuous, long-horizon setting that interleaves learning and inference throughout deployment. We further propose a multifaceted evaluation methodology that measures not only game progress but also offers diagnostic tests on world knowledge acquisition, episodic memory, object and action exploration, action diversity, and model cost. We evaluate diverse agent paradigms in the generated games. Our experimental results reveal critical limits in agents' key abilities, as well as factors that influence their meaningful horizon. Although performance scales with stronger base models, even the top agent remains far below human performance, leaving substantial headroom for improvement. Among agent mechanisms, we find that short-term memory benefits multiple agent paradigms and is an important component of agent test-time training.