FrontierCS : Des défis en évolution pour une intelligence en évolution
FrontierCS: Evolving Challenges for Evolving Intelligence
December 17, 2025
papers.authors: Qiuyang Mang, Wenhao Chai, Zhifei Li, Huanzhi Mao, Shang Zhou, Alexander Du, Hanchen Li, Shu Liu, Edwin Chen, Yichuan Wang, Xieting Chu, Zerui Cheng, Yuan Xu, Tian Xia, Zirui Wang, Tianneng Shi, Jianzhu Yao, Yilong Zhao, Qizheng Zhang, Charlie Ruan, Zeyu Shen, Kaiyuan Liu, Runyuan He, Dong Xing, Zerui Li, Zirong Zeng, Yige Jiang, Lufeng Cheng, Ziyi Zhao, Youran Sun, Wesley Zheng, Meiyuwang Zhang, Ruyi Ji, Xuechang Tu, Zihan Zheng, Zexing Chen, Kangyang Zhou, Zhaozi Wang, Jingbang Chen, Aleksandra Korolova, Peter Henderson, Pramod Viswanath, Vijay Ganesh, Saining Xie, Zhuang Liu, Dawn Song, Sewon Min, Ion Stoica, Joseph E. Gonzalez, Jingbo Shang, Alvin Cheung
cs.AI
papers.abstract
Nous présentons FrontierCS, un benchmark de 156 problèmes ouverts couvrant divers domaines de l'informatique, conçu et examiné par des experts, incluant des doctorants en informatique ainsi que des participants et concepteurs de problèmes d'élite en programmation compétitive. Contrairement aux benchmarks existants qui se concentrent sur des tâches ayant des solutions optimales connues, FrontierCS cible des problèmes pour lesquels la solution optimale est inconnue, mais dont la qualité d'une solution peut être évaluée objectivement. Les modèles résolvent ces tâches en implémentant des programmes exécutables plutôt qu'en fournissant une réponse directe. FrontierCS inclut des problèmes algorithmiques, souvent des variantes NP-difficiles de problèmes de programmation compétitive avec un système de notation partielle objective, ainsi que des problèmes de recherche partageant la même propriété. Pour chaque problème, nous fournissons une solution de référence experte et un évaluateur automatique. Alliant conception ouverte, progrès mesurable et curation experte, FrontierCS offre un benchmark à la frontière de la difficulté en informatique. Empiriquement, nous constatons que les modèles de raisonnement de pointe restent très en deçà des experts humains sur les volets algorithmique et recherche, que l'augmentation seule des budgets de raisonnement ne comble pas cet écart, et que les modèles surestiment souvent la génération de code simplement fonctionnel au détriment de la découverte d'algorithmes et de conceptions système de haute qualité.
English
We introduce FrontierCS, a benchmark of 156 open-ended problems across diverse areas of computer science, designed and reviewed by experts, including CS PhDs and top-tier competitive programming participants and problem setters. Unlike existing benchmarks that focus on tasks with known optimal solutions, FrontierCS targets problems where the optimal solution is unknown, but the quality of a solution can be objectively evaluated. Models solve these tasks by implementing executable programs rather than outputting a direct answer. FrontierCS includes algorithmic problems, which are often NP-hard variants of competitive programming problems with objective partial scoring, and research problems with the same property. For each problem we provide an expert reference solution and an automatic evaluator. Combining open-ended design, measurable progress, and expert curation, FrontierCS provides a benchmark at the frontier of computer-science difficulty. Empirically, we find that frontier reasoning models still lag far behind human experts on both the algorithmic and research tracks, that increasing reasoning budgets alone does not close this gap, and that models often over-optimize for generating merely workable code instead of discovering high-quality algorithms and system designs.