SWE-rebench V2: Taalonafhankelijke verzameling van software-engineeringtaken op grote schaal

SWE-rebench V2: Language-Agnostic SWE Task Collection at Scale

February 27, 2026

Auteurs: Ibragim Badertdinov, Maksim Nekrashevich, Anton Shevtsov, Alexander Golubev

cs.AI

Samenvatting

Software engineering agents (SWE) verbeteren snel, waarbij recente vooruitgang grotendeels wordt aangedreven door reinforcement learning (RL). De RL-training wordt echter beperkt door de schaarste aan grootschalige taakverzamelingen met reproduceerbare uitvoeringsomgevingen en betrouwbare testsuites. Hoewel er steeds meer benchmarks verschijnen, zijn datasets die geschikt zijn voor training nog steeds beperkt in schaal en diversiteit, of richten ze zich vaak op een beperkte set ecosysteem van hoogwaardige programmeertalen. Wij introduceren SWE-rebench V2, een taalagnostische geautomatiseerde pijplijn voor het oogsten van uitvoerbare real-world SWE-taken en het grootschalig construeren van RL-trainingsomgevingen. De pijplijn synthetiseert repositoriespecifieke installatie- en testprocedures via een interactieve setup-agent, en filtert ongeschikte instanties met behulp van een ensemble van LLM-beoordelaars, gevalideerd tegen door mensen geverifieerde SWE-bench annotaties. Met deze pijplijn construeren we een dataset van meer dan 32.000 taken, verspreid over 20 talen en meer dan 3.600 repositories, met vooraf gebouwde images voor reproduceerbare uitvoering. Om de trainingsdata verder op te schalen, geven we bovendien meer dan 120.000 taken vrij met installatie-instructies, fail-to-pass tests en uitgebreide metadata, waarbij de probleemstelling wordt gegenereerd op basis van de oorspronkelijke pull request-beschrijving. We valideren de verzamelde instanties via een diagnostische studie die een subset van taken in vijf programmeertalen bestrijkt, getest over zeven populaire modellen, en verstrekken instantieniveau-metadata die veelvoorkomende verstorende factoren markeren, zoals overdreven restrictieve tests en onvoldoende gespecificeerde beschrijvingen. We geven de datasets, de verzamel- en uitvoercode, en bijbehorende artefacten vrij om grootschalige training van SWE-agents over diverse talen en repositories mogelijk te maken.

English

Software engineering agents (SWE) are improving rapidly, with recent gains largely driven by reinforcement learning (RL). However, RL training is constrained by the scarcity of large-scale task collections with reproducible execution environments and reliable test suites. Although a growing number of benchmarks have emerged, datasets suitable for training remain limited in scale and diversity or often target a limited set of high-resource language ecosystems. We introduce SWE-rebench V2, a language-agnostic automated pipeline for harvesting executable real-world SWE tasks and constructing RL training environments at scale. The pipeline synthesizes repository-specific installation and test procedures via an interactive setup agent, and filters unsound instances using an ensemble of LLM judges, validated against human-verified SWE-bench annotations. Using this pipeline, we construct a dataset of 32,000+ tasks spanning 20 languages and 3,600+ repositories, with pre-built images for reproducible execution. To further scale training data, we additionally release 120,000+ tasks with installation instructions, fail-to-pass tests and rich metadata, where the problem statement is generated based on the original pull request description. We validate the collected instances through a diagnostic study that covers a subset of tasks in five programming languages across seven popular models, and provide instance-level metadata that flags common confounders such as overly restrictive tests and underspecified descriptions. We release the datasets, the collection and execution code, and associated artifacts to enable large-scale training of SWE agents across diverse languages and repositories.