BenchEvolver: Síntese de Tarefas de Fronteira via Evolução Centrada na Solução

Resumo

O rápido progresso dos modelos de linguagem de grande escala de fronteira levou a uma saturação generalizada de benchmarks, limitando a capacidade dos conjuntos de dados existentes de diferenciar as capacidades dos modelos ou fornecer sinais de treinamento úteis. Por exemplo, no LiveCodeBench, os modelos de fronteira alcançam mais de 99% de Pass@1 em divisões fáceis e excedem 90% de Pass@1 em média entre os níveis de dificuldade. Construir novos conjuntos de dados desafiadores geralmente requer esforço humano substancial, criando um gargalo para o progresso. Apresentamos o BenchEvolver, um framework evolucionário centrado em soluções que transforma automaticamente problemas de programação existentes em variantes mais difíceis. Em vez de gerar problemas do zero, o BenchEvolver evolui soluções de referência por meio de transformações estruturadas e deriva enunciados e testes correspondentes a partir das soluções evoluídas. Esse design fundamenta a geração em semântica executável, permitindo a construção escalável de tarefas de alta qualidade, diversas e difíceis, com correção verificável. Aplicando o BenchEvolver ao LiveCodeBench e ao SciCode, obtemos tarefas evoluídas que são substancialmente mais difíceis, mantendo validade, correção de referência e diversidade. Além disso, curamos o LiveCodeBench-Plus, um benchmark de 91 problemas que combina tarefas evoluídas e tarefas originais difíceis do LCB-v6, onde o Pass@1 dos modelos de fronteira varia de 27,5% a 62,6%, restaurando uma discriminação clara entre modelos de codificação fortes. É importante notar que as tarefas evoluídas permanecem desafiadoras até mesmo para o modelo que as gera, permitindo autoaperfeiçoamento. Mostramos ainda que o RL em tarefas evoluídas do LCB melhora o desempenho de codificação em conjuntos de validação não vistos: para o gpt-oss-20b, o treinamento com semente + evoluído alcança ganhos de +8,7 e +8,3 no Pass@1 no LCB v6 Hard e no LCB-Pro Easy, superando os ganhos apenas com semente em 70,7% e 34,8%, respectivamente. Nossos resultados mostram que o BenchEvolver pode converter benchmarks saturados em suítes de avaliação de nível de fronteira e em sinal de treinamento reutilizável.

English

The rapid progress of frontier large language models has led to widespread benchmark saturation, limiting the ability of existing datasets to differentiate model capabilities or provide useful training signal. For instance, on LiveCodeBench, frontier models achieve over 99% Pass@1 on easy splits and exceed 90% Pass@1 on average across difficulty levels. Constructing new, challenging datasets typically requires substantial human effort, creating a bottleneck for progress. We introduce BenchEvolver, a solution-centric evolutionary framework that automatically transforms existing coding problems into harder variants. Rather than generating problems from scratch, BenchEvolver evolves reference solutions through structured transformations and derives corresponding statements and tests from the evolved solutions. This design grounds generation in executable semantics, enabling scalable construction of high-quality, diverse, and difficult tasks with verifiable correctness. Applying BenchEvolver to LiveCodeBench and SciCode, we obtain evolved tasks that are substantially harder while maintaining validity, reference correctness, and diversity. We further curate LiveCodeBench-Plus, a 91-problem benchmark combining evolved and difficult original LCB-v6 tasks, where frontier-model Pass@1 ranges from 27.5% to 62.6%, restoring clear discrimination among strong coding models. Importantly, evolved tasks remain challenging even for the model that generates them, enabling self-improvement. We further show that RL on evolved LCB tasks improves held-out coding performance: for gpt-oss-20b, seed+evolved training achieves +8.7 and +8.3 Pass@1 gains on LCB v6 Hard and LCB-Pro Easy, exceeding seed-only gains by 70.7% and 34.8%, respectively. Our results show that BenchEvolver can convert saturated benchmarks into frontier-level evaluation suites and reusable training signal.