Обучение агентов и верификаторов программного обеспечения с использованием SWE-Gym.

Training Software Engineering Agents and Verifiers with SWE-Gym

December 30, 2024

Авторы: Jiayi Pan, Xingyao Wang, Graham Neubig, Navdeep Jaitly, Heng Ji, Alane Suhr, Yizhe Zhang

cs.AI

Аннотация

Мы представляем SWE-Gym, первую среду для обучения агентов по реальным задачам в инженерии программного обеспечения (SWE). SWE-Gym содержит 2 438 реальных задач на Python, каждая из которых включает кодовую базу с исполняемой средой, модульными тестами и задачу, описанную на естественном языке. Мы используем SWE-Gym для обучения агентов SWE на основе языковой модели, достигая до 19% абсолютного прироста в проценте успешного выполнения на популярных наборах тестов SWE-Bench Verified и Lite. Мы также экспериментируем с масштабированием на этапе вывода с помощью верификаторов, обученных на траекториях агентов, сэмплированных из SWE-Gym. При комбинировании с нашими настроенными агентами SWE мы достигаем результатов 32,0% и 26,0% на наборах тестов SWE-Bench Verified и Lite соответственно, что отражает новейшие достижения в области агентов SWE с открытым весом. Для облегчения дальнейших исследований мы публично выпускаем SWE-Gym, модели и траектории агентов.

English

We present SWE-Gym, the first environment for training real-world software engineering (SWE) agents. SWE-Gym contains 2,438 real-world Python task instances, each comprising a codebase with an executable runtime environment, unit tests, and a task specified in natural language. We use SWE-Gym to train language model based SWE agents , achieving up to 19% absolute gains in resolve rate on the popular SWE-Bench Verified and Lite test sets. We also experiment with inference-time scaling through verifiers trained on agent trajectories sampled from SWE-Gym. When combined with our fine-tuned SWE agents, we achieve 32.0% and 26.0% on SWE-Bench Verified and Lite, respectively, reflecting a new state-of-the-art for open-weight SWE agents. To facilitate further research, we publicly release SWE-Gym, models, and agent trajectories.