BenchEvolver: Grensverleggende taaksynthese via oplossingsgerichte evolutie

Samenvatting

De snelle vooruitgang van geavanceerde grote taalmodellen heeft geleid tot wijdverbreide benchmarksaturatie, waardoor het vermogen van bestaande datasets om modelcapaciteiten te onderscheiden of bruikbare trainingssignalen te leveren wordt beperkt. Op LiveCodeBench bijvoorbeeld behalen geavanceerde modellen meer dan 99% Pass@1 op eenvoudige splitsingen en meer dan 90% Pass@1 gemiddeld over alle moeilijkheidsgraden. Het construeren van nieuwe, uitdagende datasets vereist doorgaans aanzienlijke menselijke inspanning, wat een bottleneck vormt voor vooruitgang. Wij introduceren BenchEvolver, een oplossingsgericht evolutionair raamwerk dat automatisch bestaande coderingsproblemen omzet in moeilijkere varianten. In plaats van problemen vanaf nul te genereren, evolueert BenchEvolver referentieoplossingen via gestructureerde transformaties en leidt daaruit de bijbehorende probleemstellingen en tests af. Dit ontwerp verankert generatie in uitvoerbare semantiek, waardoor schaalbare constructie van hoogwaardige, diverse en moeilijke taken met verifieerbare correctheid mogelijk wordt. Door BenchEvolver toe te passen op LiveCodeBench en SciCode verkrijgen we geëvolueerde taken die aanzienlijk moeilijker zijn, terwijl validiteit, referentiecorrectheid en diversiteit behouden blijven. Verder stellen we LiveCodeBench-Plus samen, een benchmark met 91 problemen die geëvolueerde en moeilijke originele LCB-v6-taken combineert, waarbij de Pass@1 van geavanceerde modellen varieert van 27,5% tot 62,6%, wat een helder onderscheid tussen sterke codeermodellen herstelt. Belangrijk is dat geëvolueerde taken uitdagend blijven, zelfs voor het model dat ze genereert, wat zelfverbetering mogelijk maakt. We tonen verder aan dat RL op geëvolueerde LCB-taken de prestaties op niet-geziene codering verbetert: voor gpt-oss-20b levert seed+geëvolueerde training +8,7 en +8,3 Pass@1-winst op respectievelijk LCB v6 Hard en LCB-Pro Easy, wat de winst van alleen seed met respectievelijk 70,7% en 34,8% overtreft. Onze resultaten laten zien dat BenchEvolver verzadigde benchmarks kan omzetten in evaluatiesuites op frontiervlak en herbruikbare trainingssignalen.

English

The rapid progress of frontier large language models has led to widespread benchmark saturation, limiting the ability of existing datasets to differentiate model capabilities or provide useful training signal. For instance, on LiveCodeBench, frontier models achieve over 99% Pass@1 on easy splits and exceed 90% Pass@1 on average across difficulty levels. Constructing new, challenging datasets typically requires substantial human effort, creating a bottleneck for progress. We introduce BenchEvolver, a solution-centric evolutionary framework that automatically transforms existing coding problems into harder variants. Rather than generating problems from scratch, BenchEvolver evolves reference solutions through structured transformations and derives corresponding statements and tests from the evolved solutions. This design grounds generation in executable semantics, enabling scalable construction of high-quality, diverse, and difficult tasks with verifiable correctness. Applying BenchEvolver to LiveCodeBench and SciCode, we obtain evolved tasks that are substantially harder while maintaining validity, reference correctness, and diversity. We further curate LiveCodeBench-Plus, a 91-problem benchmark combining evolved and difficult original LCB-v6 tasks, where frontier-model Pass@1 ranges from 27.5% to 62.6%, restoring clear discrimination among strong coding models. Importantly, evolved tasks remain challenging even for the model that generates them, enabling self-improvement. We further show that RL on evolved LCB tasks improves held-out coding performance: for gpt-oss-20b, seed+evolved training achieves +8.7 and +8.3 Pass@1 gains on LCB v6 Hard and LCB-Pro Easy, exceeding seed-only gains by 70.7% and 34.8%, respectively. Our results show that BenchEvolver can convert saturated benchmarks into frontier-level evaluation suites and reusable training signal.