Het trainen van Software Engineering-agenten en verifiers met SWE-Gym.

Training Software Engineering Agents and Verifiers with SWE-Gym

December 30, 2024

Auteurs: Jiayi Pan, Xingyao Wang, Graham Neubig, Navdeep Jaitly, Heng Ji, Alane Suhr, Yizhe Zhang

cs.AI

Samenvatting

Wij presenteren SWE-Gym, de eerste omgeving voor het trainen van software engineering (SWE) agenten in de echte wereld. SWE-Gym bevat 2.438 real-world Python taakvoorbeelden, elk bestaande uit een codebase met een uitvoerbaar runtime-omgeving, unit tests, en een taak gespecificeerd in natuurlijke taal. We gebruiken SWE-Gym om op taalmodel gebaseerde SWE agenten te trainen, waarbij we tot 19% absolute winst behalen in oplossingssnelheid op de populaire SWE-Bench Verified en Lite testsets. We experimenteren ook met schaalvergroting op inferentietijd door verifiers te trainen op agenttrajecten afkomstig van SWE-Gym. Wanneer gecombineerd met onze fijn afgestemde SWE agenten, behalen we respectievelijk 32,0% en 26,0% op SWE-Bench Verified en Lite, wat een nieuwe state-of-the-art weerspiegelt voor open-weight SWE agenten. Om verder onderzoek te vergemakkelijken, stellen we SWE-Gym, modellen en agenttrajecten openbaar beschikbaar.

English

We present SWE-Gym, the first environment for training real-world software engineering (SWE) agents. SWE-Gym contains 2,438 real-world Python task instances, each comprising a codebase with an executable runtime environment, unit tests, and a task specified in natural language. We use SWE-Gym to train language model based SWE agents , achieving up to 19% absolute gains in resolve rate on the popular SWE-Bench Verified and Lite test sets. We also experiment with inference-time scaling through verifiers trained on agent trajectories sampled from SWE-Gym. When combined with our fine-tuned SWE agents, we achieve 32.0% and 26.0% on SWE-Bench Verified and Lite, respectively, reflecting a new state-of-the-art for open-weight SWE agents. To facilitate further research, we publicly release SWE-Gym, models, and agent trajectories.