Agent Lightning v1.0：統御されたエージェンティック強化学習の実現に向けて

要旨

現代のエージェントは、ツール、コンテキスト、制御フローを管理するエージェントハーネス内で動作し、ハーネスはエージェントシステムの重要な構成要素となっている。我々が当初開発したAgent Lightningは、LLMエンドポイントプロキシを通じて任意のエージェントをRLトレーニングに接続する分離型アーキテクチャを導入した。このアプローチは、後にverl、Uni-Agent、AReaL 2.0、slime、Polarなどのフレームワークでも採用された。我々はこのパラダイムをハーネス型エージェントRLと呼ぶ。これは、デプロイ時のハーネスがモデルのポストトレーニングに直接関与するものである。ハーネス型エージェントRLは、従来のエージェントRLとは根本的に異なる。環境との相互作用ループを所有するのはトレーニングエンジンではなくハーネスであり、トレーナーはLLMのリクエスト・レスポンスペアのシーケンスのみを観測する。これにより、再トークン化、サンプルのマージ、アドバンテージ計算、損失の正規化、バックエンドスケジューリングにおいて課題が生じ、これらはトレーニングの安定性と有効性に大きな影響を与える可能性がある。我々は、約3,500行のコードで実装されたハーネス型エージェントRLのための軽量フレームワークであるAgent Lightning v1.0を提案する。これは任意のエージェントハーネスをサポートし、これらの課題を研究するための実用的なテストベッドとして機能する。我々は、指示追従、検索、コーディングエージェントにおいてこれを評価し、コーディングエージェントRLのための完全かつ再現可能なパイプラインを提供する。わずか6Kのトレーニング例と控えめな計算資源を用いて、RLはQwen3.5-9BをSWE-bench Verifiedにおいて41.8%から56.4%へ改善し、14.6ポイントの絶対的な向上をもたらした。我々は、ハーネス型エージェントRLに関する再現可能な研究を促進するために、完全なワークフローとトレーニングスクリプトを公開する。

English

Modern agents operate inside agent harnesses that manage tools, context, and control flow, making the harness a critical part of the agent system. Our original Agent Lightning introduced a disaggregated architecture that connects arbitrary agents to RL training through an LLM endpoint proxy, an approach later adopted by frameworks such as verl Uni-Agent, AReaL 2.0, slime, and Polar. We refer to this paradigm as harnessed agentic RL, where the deploy-time harness directly participates in model post-training. Harnessed agentic RL differs fundamentally from traditional agentic RL: the harness, rather than the training engine, owns the environment interaction loop, while the trainer observes only sequences of LLM request-response pairs. This introduces challenges in retokenization, sample merging, advantage calculation, loss normalization, and backend scheduling, which can substantially affect training stability and effectiveness. We present Agent Lightning v1.0, a lightweight framework for harnessed agentic RL implemented in approximately 3,500 lines of code. It supports arbitrary agent harnesses and serves as a practical testbed for studying these challenges. We evaluate it on instruction-following, search, and coding agents, and provide a complete reproducible pipeline for coding-agent RL. Using only 6K training examples and modest compute, RL improves Qwen3.5-9B on SWE-bench Verified from 41.8% to 56.4%, a 14.6-point absolute gain. We release the complete workflow and training scripts to facilitate reproducible research on harnessed agentic RL.