Agent Lightning v1.0: 통제된 에이전트 강화학습을 향하여

초록

현대 에이전트는 도구, 컨텍스트, 제어 흐름을 관리하는 에이전트 하네스 내부에서 작동하므로, 하네스는 에이전트 시스템의 핵심 구성 요소가 된다. 초기 Agent Lightning은 LLM 엔드포인트 프록시를 통해 임의의 에이전트를 RL 학습에 연결하는 분리형 아키텍처를 도입했으며, 이러한 접근 방식은 이후 verl Uni-Agent, AReaL 2.0, slime, Polar와 같은 프레임워크에서 채택되었다. 우리는 이러한 패러다임을 하네스 기반 에이전트 강화학습(harnessed agentic RL)이라고 명명하며, 여기서 배포 시점의 하네스가 모델 사후 학습에 직접 참여한다. 하네스 기반 에이전트 강화학습은 전통적인 에이전트 강화학습과 근본적으로 다르다. 학습 엔진이 아닌 하네스가 환경 상호작용 루프를 담당하고, 학습기는 오직 LLM 요청-응답 쌍의 시퀀스만 관찰한다. 이는 재토큰화, 샘플 병합, 어드밴티지 계산, 손실 정규화, 백엔드 스케줄링에 새로운 과제를 도입하며, 이러한 과제들은 학습 안정성과 효율성에 큰 영향을 미칠 수 있다. 우리는 약 3,500줄의 코드로 구현된 하네스 기반 에이전트 강화학습을 위한 경량 프레임워크인 Agent Lightning v1.0을 제시한다. 이 프레임워크는 임의의 에이전트 하네스를 지원하며, 이러한 과제를 연구하기 위한 실용적인 테스트베드를 제공한다. 우리는 이를 지시 수행, 검색, 코딩 에이전트에 대해 평가하고, 코딩 에이전트 강화학습을 위한 완전한 재현 가능한 파이프라인을 제공한다. 단 6,000개의 학습 예제와 적은 계산 자원만으로도 RL은 SWE-bench Verified에서 Qwen3.5-9B의 성능을 41.8%에서 56.4%로 향상시켜 14.6% 포인트의 절대적 향상을 달성했다. 우리는 하네스 기반 에이전트 강화학습에 대한 재현 가능한 연구를 촉진하기 위해 전체 워크플로우와 학습 스크립트를 공개한다.

English

Modern agents operate inside agent harnesses that manage tools, context, and control flow, making the harness a critical part of the agent system. Our original Agent Lightning introduced a disaggregated architecture that connects arbitrary agents to RL training through an LLM endpoint proxy, an approach later adopted by frameworks such as verl Uni-Agent, AReaL 2.0, slime, and Polar. We refer to this paradigm as harnessed agentic RL, where the deploy-time harness directly participates in model post-training. Harnessed agentic RL differs fundamentally from traditional agentic RL: the harness, rather than the training engine, owns the environment interaction loop, while the trainer observes only sequences of LLM request-response pairs. This introduces challenges in retokenization, sample merging, advantage calculation, loss normalization, and backend scheduling, which can substantially affect training stability and effectiveness. We present Agent Lightning v1.0, a lightweight framework for harnessed agentic RL implemented in approximately 3,500 lines of code. It supports arbitrary agent harnesses and serves as a practical testbed for studying these challenges. We evaluate it on instruction-following, search, and coding agents, and provide a complete reproducible pipeline for coding-agent RL. Using only 6K training examples and modest compute, RL improves Qwen3.5-9B on SWE-bench Verified from 41.8% to 56.4%, a 14.6-point absolute gain. We release the complete workflow and training scripts to facilitate reproducible research on harnessed agentic RL.