FLEX: 경험을 통한 순방향 학습 기반의 연속적 에이전트 진화

초록

대규모 언어 모델(LLM)으로 구동되는 자율 에이전트는 추론 및 문제 해결 분야에 혁명을 가져왔지만, 훈련 후에는 정적 상태로 남아 배포 과정에서 지능적 존재처럼 경험을 통해 성장하지 못합니다. 본 연구에서는 경험 기반 전방 학습(FLEX)을 소개합니다. 이는 경사하강법을 사용하지 않는 학습 패러다임으로, LLM 에이전트가 축적된 경험을 통해 지속적으로 진화할 수 있도록 합니다. 구체적으로 FLEX는 환경과의 상호작용 과정에서 성공과 실패에 대한 지속적인 성찰을 통해 구조화된 경험 라이브러리를 구축함으로써 확장 가능하고 계승 가능한 진화를 도모합니다. FLEX는 수학적 추론, 화학 역합성, 단백질 적합도 예측 분야에서 상당한 성능 향상(AIME25 기준 최대 23%, USPTO50k 기준 10%, ProteinGym 기준 14%)을 보여주었습니다. 또한 우리는 경험적 성장의 명확한 스케일링 법칙과 에이전트 간 경험 계승 현상을 확인하여, 확장 가능하고 계승 가능한 지속적 에이전트 진화를 위한 한 걸음을 내디뎠습니다. 프로젝트 페이지: https://flex-gensi-thuair.github.io.

English

Autonomous agents driven by Large Language Models (LLMs) have revolutionized reasoning and problem-solving but remain static after training, unable to grow with experience as intelligent beings do during deployment. We introduce Forward Learning with EXperience (FLEX), a gradient-free learning paradigm that enables LLM agents to continuously evolve through accumulated experience. Specifically, FLEX cultivates scalable and inheritable evolution by constructing a structured experience library through continual reflection on successes and failures during interaction with the environment. FLEX delivers substantial improvements on mathematical reasoning, chemical retrosynthesis, and protein fitness prediction (up to 23% on AIME25, 10% on USPTO50k, and 14% on ProteinGym). We further identify a clear scaling law of experiential growth and the phenomenon of experience inheritance across agents, marking a step toward scalable and inheritable continuous agent evolution. Project Page: https://flex-gensi-thuair.github.io.

FLEX: 경험을 통한 순방향 학습 기반의 연속적 에이전트 진화

FLEX: Continuous Agent Evolution via Forward Learning from Experience

초록

Support