BenchEvolver : Synthèse de tâches de frontière via une évolution centrée sur les solutions

Résumé

Les progrès rapides des grands modèles de langage de pointe ont conduit à une saturation généralisée des benchmarks, limitant la capacité des jeux de données existants à différencier les capacités des modèles ou à fournir un signal d’entraînement utile. Par exemple, sur LiveCodeBench, les modèles de pointe atteignent plus de 99 % de Pass@1 sur les divisions faciles et dépassent 90 % de Pass@1 en moyenne sur tous les niveaux de difficulté. La construction de nouveaux jeux de données exigeants nécessite généralement un effort humain considérable, créant un goulot d’étranglement pour le progrès. Nous présentons BenchEvolver, un cadre évolutif centré sur les solutions qui transforme automatiquement des problèmes de codage existants en variantes plus difficiles. Plutôt que de générer des problèmes à partir de zéro, BenchEvolver fait évoluer des solutions de référence par des transformations structurées et déduit les énoncés et tests correspondants à partir des solutions évoluées. Cette conception ancre la génération dans une sémantique exécutable, permettant une construction évolutive de tâches de haute qualité, diverses et difficiles, avec une vérifiabilité correcte. En appliquant BenchEvolver à LiveCodeBench et SciCode, nous obtenons des tâches évoluées nettement plus difficiles tout en conservant leur validité, l’exactitude de la référence et leur diversité. Nous élaborons en outre LiveCodeBench-Plus, un benchmark de 91 problèmes combinant des tâches évoluées et les tâches originales difficiles de LCB-v6, où le Pass@1 des modèles de pointe varie de 27,5 % à 62,6 %, rétablissant une discrimination claire entre les modèles de codage performants. Il est important de noter que les tâches évoluées restent difficiles même pour le modèle qui les génère, permettant ainsi une auto-amélioration. Nous montrons également que l’apprentissage par renforcement (RL) sur les tâches évoluées de LCB améliore les performances de codage sur des ensembles non vus : pour gpt-oss-20b, l’entraînement sur les données de départ et évoluées obtient des gains de +8,7 et +8,3 en Pass@1 sur LCB v6 Hard et LCB-Pro Easy, dépassant respectivement de 70,7 % et 34,8 % les gains obtenus avec les seules données de départ. Nos résultats montrent que BenchEvolver peut convertir des benchmarks saturés en suites d’évaluation de niveau avancé et en signaux d’entraînement réutilisables.

English

The rapid progress of frontier large language models has led to widespread benchmark saturation, limiting the ability of existing datasets to differentiate model capabilities or provide useful training signal. For instance, on LiveCodeBench, frontier models achieve over 99% Pass@1 on easy splits and exceed 90% Pass@1 on average across difficulty levels. Constructing new, challenging datasets typically requires substantial human effort, creating a bottleneck for progress. We introduce BenchEvolver, a solution-centric evolutionary framework that automatically transforms existing coding problems into harder variants. Rather than generating problems from scratch, BenchEvolver evolves reference solutions through structured transformations and derives corresponding statements and tests from the evolved solutions. This design grounds generation in executable semantics, enabling scalable construction of high-quality, diverse, and difficult tasks with verifiable correctness. Applying BenchEvolver to LiveCodeBench and SciCode, we obtain evolved tasks that are substantially harder while maintaining validity, reference correctness, and diversity. We further curate LiveCodeBench-Plus, a 91-problem benchmark combining evolved and difficult original LCB-v6 tasks, where frontier-model Pass@1 ranges from 27.5% to 62.6%, restoring clear discrimination among strong coding models. Importantly, evolved tasks remain challenging even for the model that generates them, enabling self-improvement. We further show that RL on evolved LCB tasks improves held-out coding performance: for gpt-oss-20b, seed+evolved training achieves +8.7 and +8.3 Pass@1 gains on LCB v6 Hard and LCB-Pro Easy, exceeding seed-only gains by 70.7% and 34.8%, respectively. Our results show that BenchEvolver can convert saturated benchmarks into frontier-level evaluation suites and reusable training signal.