BenchEvolver: 解決中心進化によるフロンティアタスク合成

要旨

最先端の大規模言語モデルの急速な進歩により、ベンチマーク飽和が広く発生している。これにより、既存のデータセットがモデルの能力を区別したり、有用な訓練信号を提供したりする能力が制限されている。例えば、LiveCodeBenchにおいて、最先端モデルはEasy分割で99%以上のPass@1を達成し、難易度全体の平均で90%を超えるPass@1を示している。新たな挑戦的なデータセットを構築するには通常、多大な人的努力が必要であり、進歩のボトルネックとなっている。我々はBenchEvolverを導入する。これは、既存のコーディング問題を自動的により困難な変種へと進化させる、解決策中心の進化的フレームワークである。BenchEvolverは問題をゼロから生成するのではなく、構造化された変換を通じて参照解決策を進化させ、その進化した解決策から対応する問題文とテストを導出する。この設計は生成を実行可能な意味論に基づかせ、検証可能な正しさを備えた高品質で多様かつ困難なタスクのスケーラブルな構築を可能にする。BenchEvolverをLiveCodeBenchとSciCodeに適用したところ、有効性、参照解決策の正しさ、多様性を維持しつつ、大幅に困難な進化タスクが得られた。さらに我々はLiveCodeBench-Plusを厳選した。これは進化タスクと難易度の高いオリジナルのLCB-v6タスクを組み合わせた91問題のベンチマークであり、最先端モデルのPass@1は27.5%から62.6%の範囲となり、強力なコーディングモデル間で明確な識別力を回復する。重要なことに、進化タスクはそれを生成したモデルにとっても困難であり続け、自己改善を可能にする。さらに、進化したLCBタスクでの強化学習が、保持されたコーディング性能を向上させることを示す。gpt-oss-20bにおいて、シード+進化訓練はLCB v6 HardおよびLCB-Pro Easyでそれぞれ+8.7および+8.3のPass@1向上を達成し、シードのみの向上をそれぞれ70.7%および34.8%上回った。これらの結果は、BenchEvolverが飽和したベンチマークを最先端レベルの評価スイートおよび再利用可能な訓練信号に変換できることを示している。

English

The rapid progress of frontier large language models has led to widespread benchmark saturation, limiting the ability of existing datasets to differentiate model capabilities or provide useful training signal. For instance, on LiveCodeBench, frontier models achieve over 99% Pass@1 on easy splits and exceed 90% Pass@1 on average across difficulty levels. Constructing new, challenging datasets typically requires substantial human effort, creating a bottleneck for progress. We introduce BenchEvolver, a solution-centric evolutionary framework that automatically transforms existing coding problems into harder variants. Rather than generating problems from scratch, BenchEvolver evolves reference solutions through structured transformations and derives corresponding statements and tests from the evolved solutions. This design grounds generation in executable semantics, enabling scalable construction of high-quality, diverse, and difficult tasks with verifiable correctness. Applying BenchEvolver to LiveCodeBench and SciCode, we obtain evolved tasks that are substantially harder while maintaining validity, reference correctness, and diversity. We further curate LiveCodeBench-Plus, a 91-problem benchmark combining evolved and difficult original LCB-v6 tasks, where frontier-model Pass@1 ranges from 27.5% to 62.6%, restoring clear discrimination among strong coding models. Importantly, evolved tasks remain challenging even for the model that generates them, enabling self-improvement. We further show that RL on evolved LCB tasks improves held-out coding performance: for gpt-oss-20b, seed+evolved training achieves +8.7 and +8.3 Pass@1 gains on LCB v6 Hard and LCB-Pro Easy, exceeding seed-only gains by 70.7% and 34.8%, respectively. Our results show that BenchEvolver can convert saturated benchmarks into frontier-level evaluation suites and reusable training signal.