SWE-rebench V2 : Collection d'Évaluations de Tâches de Génie Logiciel à Grande Échelle, Indépendante du Langage

SWE-rebench V2: Language-Agnostic SWE Task Collection at Scale

February 27, 2026

Auteurs: Ibragim Badertdinov, Maksim Nekrashevich, Anton Shevtsov, Alexander Golubev

cs.AI

Résumé

Les agents d'ingénierie logicielle (SWE) progressent rapidement, les gains récents étant largement portés par l'apprentissage par renforcement (RL). Cependant, la formation par RL est limitée par la rareté de collections de tâches à grande échelle dotées d'environnements d'exécution reproductibles et de suites de tests fiables. Bien qu'un nombre croissant de benchmarks ait émergé, les ensembles de données adaptés à l'entraînement restent limités en taille et en diversité, ou ciblent souvent un ensemble restreint d'écosystèmes de langages à ressources abondantes. Nous présentons SWE-rebench V2, un pipeline automatisé indépendant du langage pour collecter des tâches SWE exécutables issues du monde réel et construire des environnements d'entraînement RL à grande échelle. Le pipeline synthétise les procédures d'installation et de test spécifiques aux dépôts via un agent de configuration interactif, et filtre les instances non valides à l'aide d'un ensemble de juges LLM, validés par rapport aux annotations SWE-bench vérifiées par des humains. En utilisant ce pipeline, nous constituons un ensemble de plus de 32 000 tâches couvrant 20 langages et plus de 3 600 dépôts, avec des images préconstruites pour une exécution reproductible. Pour augmenter encore les données d'entraînement, nous publions également plus de 120 000 tâches avec des instructions d'installation, des tests de type "échec-à-réussite" et des métadonnées riches, où l'énoncé du problème est généré à partir de la description originale de la demande de tirage (pull request). Nous validons les instances collectées via une étude diagnostique couvrant un sous-ensemble de tâches dans cinq langages de programmation et testée sur sept modèles populaires, et fournissons des métadonnées au niveau de l'instance qui signalent des facteurs confusionnels courants tels que des tests excessivement restrictifs et des descriptions sous-spécifiées. Nous publions les ensembles de données, le code de collecte et d'exécution, ainsi que les artefacts associés pour permettre l'entraînement à grande échelle d'agents SWE sur divers langages et dépôts.

English

Software engineering agents (SWE) are improving rapidly, with recent gains largely driven by reinforcement learning (RL). However, RL training is constrained by the scarcity of large-scale task collections with reproducible execution environments and reliable test suites. Although a growing number of benchmarks have emerged, datasets suitable for training remain limited in scale and diversity or often target a limited set of high-resource language ecosystems. We introduce SWE-rebench V2, a language-agnostic automated pipeline for harvesting executable real-world SWE tasks and constructing RL training environments at scale. The pipeline synthesizes repository-specific installation and test procedures via an interactive setup agent, and filters unsound instances using an ensemble of LLM judges, validated against human-verified SWE-bench annotations. Using this pipeline, we construct a dataset of 32,000+ tasks spanning 20 languages and 3,600+ repositories, with pre-built images for reproducible execution. To further scale training data, we additionally release 120,000+ tasks with installation instructions, fail-to-pass tests and rich metadata, where the problem statement is generated based on the original pull request description. We validate the collected instances through a diagnostic study that covers a subset of tasks in five programming languages across seven popular models, and provide instance-level metadata that flags common confounders such as overly restrictive tests and underspecified descriptions. We release the datasets, the collection and execution code, and associated artifacts to enable large-scale training of SWE agents across diverse languages and repositories.