フロンティアCS：進化する知能がもたらす進化する課題

要旨

本論文では、FrontierCSを紹介する。これはコンピュータサイエンスの多様な領域にわたる156の自由記述形式問題から構成されるベンチマークであり、CS博士号取得者やトップクラスの競技プログラミング参加者・問題作成者を含む専門家によって設計・査読された。既存のベンチマークが既知の最適解を持つ課題に焦点を当てるのに対し、FrontierCSは最適解が未確定であるものの、解決策の質を客観的に評価可能な問題を対象とする。モデルは直接的な答えを出力するのではなく、実行可能なプログラムを実装することでこれらの課題に取り組む。FrontierCSには、客観的部分採点が可能な競技プログラミング問題のNP困難バリアントであるアルゴリズム問題と、同様の特性を持つ研究問題が含まれる。各問題に対して、専門家による参照解法と自動評価器を提供する。自由記述形式の設計、測定可能な進捗、専門家による監修を組み合わせることで、FrontierCSはコンピュータサイエンスの最先端の難易度を有するベンチマークを提供する。実証的に、先進的推論モデルはアルゴリズム部門・研究部門の両方において依然として人間の専門家に大きく遅れており、推論リソースの単純な増加だけではこの差は埋まらないことが分かった。また、モデルは高品質なアルゴリズムやシステム設計を発見するのではなく、単に動作するコードの生成に過剰に最適化する傾向が頻繁に見られた。

English

We introduce FrontierCS, a benchmark of 156 open-ended problems across diverse areas of computer science, designed and reviewed by experts, including CS PhDs and top-tier competitive programming participants and problem setters. Unlike existing benchmarks that focus on tasks with known optimal solutions, FrontierCS targets problems where the optimal solution is unknown, but the quality of a solution can be objectively evaluated. Models solve these tasks by implementing executable programs rather than outputting a direct answer. FrontierCS includes algorithmic problems, which are often NP-hard variants of competitive programming problems with objective partial scoring, and research problems with the same property. For each problem we provide an expert reference solution and an automatic evaluator. Combining open-ended design, measurable progress, and expert curation, FrontierCS provides a benchmark at the frontier of computer-science difficulty. Empirically, we find that frontier reasoning models still lag far behind human experts on both the algorithmic and research tracks, that increasing reasoning budgets alone does not close this gap, and that models often over-optimize for generating merely workable code instead of discovering high-quality algorithms and system designs.

フロンティアCS：進化する知能がもたらす進化する課題

FrontierCS: Evolving Challenges for Evolving Intelligence

要旨

Support