Training von Software-Engineering-Agenten und Verifiern mit SWE-Gym

Training Software Engineering Agents and Verifiers with SWE-Gym

December 30, 2024

Autoren: Jiayi Pan, Xingyao Wang, Graham Neubig, Navdeep Jaitly, Heng Ji, Alane Suhr, Yizhe Zhang

cs.AI

Zusammenfassung

Wir präsentieren SWE-Gym, die erste Umgebung zur Schulung von Agenten für Softwaretechnik (SWE) in der realen Welt. SWE-Gym enthält 2.438 Python-Aufgaben aus der realen Welt, von denen jede eine Codebasis mit einer ausführbaren Laufzeitumgebung, Modultests und eine in natürlicher Sprache spezifizierte Aufgabe umfasst. Wir verwenden SWE-Gym zur Schulung von auf Sprachmodellen basierenden SWE-Agenten und erzielen dabei bis zu 19% absolute Verbesserungen der Lösungsrate auf den beliebten SWE-Bench Verified und Lite Testsets. Wir experimentieren auch mit der Skalierung zur Inferenzzeit durch Verifizierer, die auf Agententrajektorien trainiert sind, die aus SWE-Gym entnommen wurden. In Kombination mit unseren feinabgestimmten SWE-Agenten erreichen wir 32,0% bzw. 26,0% auf SWE-Bench Verified und Lite und setzen damit einen neuen Stand der Technik für offengewichtige SWE-Agenten. Um weitere Forschung zu erleichtern, veröffentlichen wir SWE-Gym, Modelle und Agententrajektorien öffentlich.

English

We present SWE-Gym, the first environment for training real-world software engineering (SWE) agents. SWE-Gym contains 2,438 real-world Python task instances, each comprising a codebase with an executable runtime environment, unit tests, and a task specified in natural language. We use SWE-Gym to train language model based SWE agents , achieving up to 19% absolute gains in resolve rate on the popular SWE-Bench Verified and Lite test sets. We also experiment with inference-time scaling through verifiers trained on agent trajectories sampled from SWE-Gym. When combined with our fine-tuned SWE agents, we achieve 32.0% and 26.0% on SWE-Bench Verified and Lite, respectively, reflecting a new state-of-the-art for open-weight SWE agents. To facilitate further research, we publicly release SWE-Gym, models, and agent trajectories.