AgentOdyssey: Generación de Juegos de Texto de Horizonte Largo y Abiertos para Agentes de Aprendizaje Continuo en Tiempo de Prueba

Resumen

Para que los agentes aprendan de manera continua a partir de la interacción con el mundo durante la fase de prueba, deben ser capaces de explorar eficazmente, adquirir nuevos conocimientos y habilidades sobre el mundo, retener experiencias episódicas relevantes y planificar a largo plazo. Con el fin de evaluar estas capacidades clave de los agentes de aprendizaje continuo en tiempo de prueba, presentamos AgentOdyssey, un marco de evaluación novedoso que genera proceduralmente juegos de texto abiertos con entidades ricas, dinámicas del mundo y tareas de largo plazo. De manera crítica, AgentOdyssey va más allá del supuesto convencional del aprendizaje automático de que no ocurre aprendizaje durante la prueba, situando a los agentes en un entorno continuo y de largo horizonte que intercala aprendizaje e inferencia a lo largo de su despliegue. Asimismo, proponemos una metodología de evaluación multifacética que no solo mide el progreso en el juego, sino que también ofrece pruebas diagnósticas sobre la adquisición de conocimiento del mundo, la memoria episódica, la exploración de objetos y acciones, la diversidad de acciones y el costo del modelo. Evaluamos diversos paradigmas de agentes en los juegos generados. Nuestros resultados experimentales revelan límites críticos en las capacidades clave de los agentes, así como factores que influyen en su horizonte significativo. Aunque el rendimiento escala con modelos base más potentes, incluso el mejor agente se mantiene muy por debajo del rendimiento humano, dejando un margen sustancial para la mejora. Entre los mecanismos de los agentes, descubrimos que la memoria a corto plazo beneficia a múltiples paradigmas de agentes y constituye un componente importante del entrenamiento de los agentes en tiempo de prueba.

English

For agents to learn continuously from interaction with the world at test time, they must be able to explore effectively, acquire new world knowledge and skills, retain relevant episodic experiences, and plan over long horizons. To evaluate these key abilities of test-time continual learning agents, we introduce AgentOdyssey, a novel evaluation framework that procedurally generates open-ended text games with rich entities, world dynamics, and long-horizon tasks. Critically, AgentOdyssey goes beyond the conventional machine learning assumption that learning does not occur at test time by placing agents in a continuous, long-horizon setting that interleaves learning and inference throughout deployment. We further propose a multifaceted evaluation methodology that measures not only game progress but also offers diagnostic tests on world knowledge acquisition, episodic memory, object and action exploration, action diversity, and model cost. We evaluate diverse agent paradigms in the generated games. Our experimental results reveal critical limits in agents' key abilities, as well as factors that influence their meaningful horizon. Although performance scales with stronger base models, even the top agent remains far below human performance, leaving substantial headroom for improvement. Among agent mechanisms, we find that short-term memory benefits multiple agent paradigms and is an important component of agent test-time training.