FLEX: Continueel Agent Evolution via Voorwaarts Leren op Basis van Ervaring

FLEX: Continuous Agent Evolution via Forward Learning from Experience

November 9, 2025

Auteurs: Zhicheng Cai, Xinyuan Guo, Yu Pei, JiangTao Feng, Jiangjie Chen, Ya-Qin Zhang, Wei-Ying Ma, Mingxuan Wang, Hao Zhou

cs.AI

Samenvatting

Autonome agenten aangedreven door Large Language Models (LLM's) hebben een revolutie teweeggebracht in redeneren en probleemoplossing, maar blijven statisch na de training en zijn niet in staat om te groeien door ervaring, zoals intelligente wezens dat doen tijdens inzet. Wij introduceren Forward Learning with EXperience (FLEX), een gradiëntvrij leerparadigma dat LLM-agenten in staat stelt om continu te evolueren door opgebouwde ervaring. Concreet kweekt FLEX schaalbare en erfelijke evolutie door het construeren van een gestructureerde ervaringsbibliotheek via continue reflectie op successen en mislukkingen tijdens interactie met de omgeving. FLEX levert substantiële verbeteringen op bij wiskundig redeneren, chemische retrosynthese en eiwitfitnessvoorspelling (tot 23% op AIME25, 10% op USPTO50k en 14% op ProteinGym). Verder identificeren we een duidelijke schaalwet voor ervaringsgroei en het fenomeen van ervaringsoverdracht tussen agenten, wat een stap betekent in de richting van schaalbare en erfelijke continue agentevolutie. Projectpagina: https://flex-gensi-thuair.github.io.

English

Autonomous agents driven by Large Language Models (LLMs) have revolutionized reasoning and problem-solving but remain static after training, unable to grow with experience as intelligent beings do during deployment. We introduce Forward Learning with EXperience (FLEX), a gradient-free learning paradigm that enables LLM agents to continuously evolve through accumulated experience. Specifically, FLEX cultivates scalable and inheritable evolution by constructing a structured experience library through continual reflection on successes and failures during interaction with the environment. FLEX delivers substantial improvements on mathematical reasoning, chemical retrosynthesis, and protein fitness prediction (up to 23% on AIME25, 10% on USPTO50k, and 14% on ProteinGym). We further identify a clear scaling law of experiential growth and the phenomenon of experience inheritance across agents, marking a step toward scalable and inheritable continuous agent evolution. Project Page: https://flex-gensi-thuair.github.io.