프론티어CS: 진화하는 지능을 위한 진화하는 과제들

FrontierCS: Evolving Challenges for Evolving Intelligence

December 17, 2025

저자: Qiuyang Mang, Wenhao Chai, Zhifei Li, Huanzhi Mao, Shang Zhou, Alexander Du, Hanchen Li, Shu Liu, Edwin Chen, Yichuan Wang, Xieting Chu, Zerui Cheng, Yuan Xu, Tian Xia, Zirui Wang, Tianneng Shi, Jianzhu Yao, Yilong Zhao, Qizheng Zhang, Charlie Ruan, Zeyu Shen, Kaiyuan Liu, Runyuan He, Dong Xing, Zerui Li, Zirong Zeng, Yige Jiang, Lufeng Cheng, Ziyi Zhao, Youran Sun, Wesley Zheng, Meiyuwang Zhang, Ruyi Ji, Xuechang Tu, Zihan Zheng, Zexing Chen, Kangyang Zhou, Zhaozi Wang, Jingbang Chen, Aleksandra Korolova, Peter Henderson, Pramod Viswanath, Vijay Ganesh, Saining Xie, Zhuang Liu, Dawn Song, Sewon Min, Ion Stoica, Joseph E. Gonzalez, Jingbo Shang, Alvin Cheung

cs.AI

초록

저희는 FrontierCS를 소개합니다. 이는 컴퓨터과학 박사 및 최상위 경쟁 프로그래밍 참가자·출제자 등 전문가들이 설계하고 검토한 다양한 컴퓨터과학 분야의 156개 개방형 문제로 구성된 벤치마크입니다. 기존 벤치마크가 알려진 최적 해법이 있는 과제에 집중하는 반면, FrontierCS는 최적 해법은 알려지지 않았지만 해법의 질을 객관적으로 평가할 수 있는 문제를 대상으로 합니다. 모델은 직접적인 답을 출력하는 대신 실행 가능한 프로그램을 구현하여 이러한 과제를 해결합니다. FrontierCS에는 객관적인 부분 채점이 가능한, 종종 NP-난해 변형인 경쟁 프로그래밍 문제인 알고리즘 문제와 동일한 특성을 지닌 연구 문제가 포함됩니다. 각 문제에 대해 전문가 참조 해법과 자동 평가기를 제공합니다. 개방형 설계, 측정 가능한 진전, 전문가 큐레이션을 결합한 FrontierCS는 컴퓨터과학 난이도 최전선에 있는 벤치마크를 제공합니다. 실증적으로는 최첨단 추론 모델이 알고리즘 및 연구 트랙 모두에서 여전히 인간 전문가에 크게 뒤처지며, 추론 예산만 늘리는 것으로는 이 격차를 해소할 수 없으며, 모델이 고품질 알고리즘과 시스템 설계를 발견하기보다 단순히 작동 가능한 코드 생성에 지나치게 최적화되는 경우가 많다는 사실을 확인했습니다.

English

We introduce FrontierCS, a benchmark of 156 open-ended problems across diverse areas of computer science, designed and reviewed by experts, including CS PhDs and top-tier competitive programming participants and problem setters. Unlike existing benchmarks that focus on tasks with known optimal solutions, FrontierCS targets problems where the optimal solution is unknown, but the quality of a solution can be objectively evaluated. Models solve these tasks by implementing executable programs rather than outputting a direct answer. FrontierCS includes algorithmic problems, which are often NP-hard variants of competitive programming problems with objective partial scoring, and research problems with the same property. For each problem we provide an expert reference solution and an automatic evaluator. Combining open-ended design, measurable progress, and expert curation, FrontierCS provides a benchmark at the frontier of computer-science difficulty. Empirically, we find that frontier reasoning models still lag far behind human experts on both the algorithmic and research tracks, that increasing reasoning budgets alone does not close this gap, and that models often over-optimize for generating merely workable code instead of discovering high-quality algorithms and system designs.