에이전틱 ESOpt: 최소 GPU 요구사항으로 장기 지평 LLM 에이전트 미세조정

초록

강화학습(RL)은 단일 턴 대규모 언어 모델(LLM) 미세 조정에서 유망한 성과를 보여 왔다. 그러나 장기 수평적(long-horizon) 에이전트 추론은 점점 더 분기적인 상호작용과 희소한 보상을 수반하게 되면서 RL의 여러 한계가 드러난다. 즉, 무거운 역전파 기반 훈련 스택은 대형 LLM의 미세 조정을 비현실적으로 만들며, 더 긴 수평의 궤적은 RL에서 신용 할당(credit assignment)을 훨씬 어렵게 만든다. 본 논문은 진화 전략(ES)이 장기 수평 LLM 에이전트 미세 조정에 더 나은 선택이 될 수 있음을 주장한다. 에이전트 RL과 비교하여 ES는 세 가지 핵심 이점을 제공한다: 1) 모델 확장성(Model Scalability): ES는 추론 수준의 최소 GPU 메모리만으로 전 파라미터 최적화를 가능하게 하여, 대형 LLM의 미세 조정을 실현 가능하게 한다. 2) 유연성(Flexibility): 가볍고 블랙박스적인 피드백 인터페이스 덕분에 ES 미세 조정은 프롬프트 공간 진화(예: 스킬 최적화 및 테스트 시점 연산)와의 결합이 용이하다. 3) 장기 수평 확장성(Long-Horizon Scalability): ES는 수평 전반에 걸쳐 보상을 분해하지 않고 궤적 수준의 파라미터 기여도를 수행하므로, 수평 길이가 증가함에 따라 에이전트 RL보다 더 나은 확장성을 제공한다. 이러한 통찰에 기반하여, 본 논문은 유연한 파라미터-컨텍스트 공동 진화에 특화된 전 파라미터 에이전트 미세 조정 프레임워크인 Agentic ESOpt를 제안한다. 각 단계에서 Agentic ESOpt는 현재 LLM 파라미터 주변의 섭동(perturbation)을 샘플링하고, 결과적으로 생성된 에이전트를 보상으로 평가한 뒤, 온라인 보상 가중 업데이트를 적용한다. 탐색-적응 트레이드오프를 개선하기 위해 Agentic ESOpt는 추가로 섭동 규모 σ에 대한 코사인 감쇠 스케줄을 도입한다. WebArena-Lite에서 Qwen-3.5-27B의 전 파라미터 최적화는 No Skill 기준선 대비 6.69%의 성능 향상을 달성한다. 테스트 시점 자동 휴리스틱 설계에서 Agentic ESOpt는 온라인 프롬프트-파라미터 공동 진화를 수행하여, 36개 설정 중 28개에서 대응 기준선보다 개선된 성능을 보인다.

English

Reinforcement Learning (RL) has been promising in single-turn LLM fine-tuning. However, long-horizon agentic reasoning introduces increasingly branching interactions and sparse rewards, exposing several limitations of RL: its heavyweight backpropagation-based training stack makes it impractical to fine-tune larger LLMs, and longer-horizon trajectories make credit assignment in RL substantially harder. This paper argues that evolution strategies (ES) can be a better choice for fine-tuning long-horizon LLM agents. Compared with agentic RL, ES offers three key advantages: 1) Model Scalability: ES enables full-parameter optimization with only minimal, inference-level GPU memory, making it possible to fine-tune large LLMs. 2) Flexibility: its lightweight, black-box feedback interface makes ES fine-tuning easy to compose with prompt-space evolution (e.g., skill optimization & test-time compute); and 3) Long-Horizon Scalability: ES performs trajectory-level parameter attribution without decomposing rewards across horizons, yielding better scalability than Agentic RL as the horizon length grows. Based on this insight, we propose Agentic ESOpt, a full-parameter agentic fine-tuning framework tailored to flexible parameter--context co-evolution. At each step, Agentic ESOpt samples perturbations around the current LLM parameters, evaluates the resulting agents with rewards, and applies an online reward-weighted update. To improve the exploration--adaptation trade-off, Agentic ESOpt further introduces a cosine decay schedule of the perturbation scale σ. On WebArena-Lite, full-parameter optimization of Qwen-3.5-27B improves the No Skill baseline by 6.69%. In test-time automatic heuristic design, Agentic ESOpt performs online prompt--parameter co-evolution, improving its matched baseline in 28 of 36 settings.