Обучение в процессе работы: саморазвивающийся агент, управляемый опытом, для выполнения задач с длительным горизонтом планирования

Learning on the Job: An Experience-Driven Self-Evolving Agent for Long-Horizon Tasks

October 9, 2025

Авторы: Cheng Yang, Xuemeng Yang, Licheng Wen, Daocheng Fu, Jianbiao Mei, Rong Wu, Pinlong Cai, Yufan Shen, Nianchen Deng, Botian Shi, Yu Qiao, Haifeng Li

cs.AI

Аннотация

Крупные языковые модели продемонстрировали впечатляющие способности в различных областях, однако значительные трудности сохраняются при их использовании в качестве ИИ-агентов для выполнения долгосрочных задач в реальном мире. Существующие агенты на основе языковых моделей страдают от критического ограничения: они статичны во время тестирования и не могут учиться на опыте, не обладая способностью накапливать знания и непрерывно совершенствоваться в процессе работы. Для решения этой проблемы мы предлагаем MUSE — новую архитектуру агента, которая вводит систему, основанную на опыте и способную к саморазвитию, с использованием иерархического модуля памяти. MUSE организует различные уровни опыта и использует их для планирования и выполнения долгосрочных задач в различных приложениях. После выполнения каждой подзадачи агент автономно анализирует свою траекторию, преобразуя её в структурированный опыт и интегрируя его обратно в модуль памяти. Этот механизм позволяет агенту развиваться за пределами своих статических предобученных параметров, способствуя непрерывному обучению и саморазвитию. Мы оцениваем MUSE на долгосрочном бенчмарке производительности TAC. Он достигает нового рекордного результата с значительным отрывом, используя лишь облегчённую модель Gemini-2.5 Flash. Многочисленные эксперименты показывают, что по мере автономного накопления опыта агент демонстрирует всё более высокие способности к выполнению задач, а также устойчивые возможности непрерывного обучения и саморазвития. Более того, накопленный опыт MUSE обладает сильными свойствами обобщения, позволяя улучшать выполнение новых задач в режиме zero-shot. MUSE устанавливает новую парадигму для ИИ-агентов, способных автоматизировать задачи производительности в реальном мире.

English

Large Language Models have demonstrated remarkable capabilities across diverse domains, yet significant challenges persist when deploying them as AI agents for real-world long-horizon tasks. Existing LLM agents suffer from a critical limitation: they are test-time static and cannot learn from experience, lacking the ability to accumulate knowledge and continuously improve on the job. To address this challenge, we propose MUSE, a novel agent framework that introduces an experience-driven, self-evolving system centered around a hierarchical Memory Module. MUSE organizes diverse levels of experience and leverages them to plan and execute long-horizon tasks across multiple applications. After each sub-task execution, the agent autonomously reflects on its trajectory, converting the raw trajectory into structured experience and integrating it back into the Memory Module. This mechanism enables the agent to evolve beyond its static pretrained parameters, fostering continuous learning and self-evolution. We evaluate MUSE on the long-horizon productivity benchmark TAC. It achieves new SOTA performance by a significant margin using only a lightweight Gemini-2.5 Flash model. Sufficient Experiments demonstrate that as the agent autonomously accumulates experience, it exhibits increasingly superior task completion capabilities, as well as robust continuous learning and self-evolution capabilities. Moreover, the accumulated experience from MUSE exhibits strong generalization properties, enabling zero-shot improvement on new tasks. MUSE establishes a new paradigm for AI agents capable of real-world productivity task automation.