FrontierCS: Desafios em Evolução para uma Inteligência em Evolução
FrontierCS: Evolving Challenges for Evolving Intelligence
December 17, 2025
Autores: Qiuyang Mang, Wenhao Chai, Zhifei Li, Huanzhi Mao, Shang Zhou, Alexander Du, Hanchen Li, Shu Liu, Edwin Chen, Yichuan Wang, Xieting Chu, Zerui Cheng, Yuan Xu, Tian Xia, Zirui Wang, Tianneng Shi, Jianzhu Yao, Yilong Zhao, Qizheng Zhang, Charlie Ruan, Zeyu Shen, Kaiyuan Liu, Runyuan He, Dong Xing, Zerui Li, Zirong Zeng, Yige Jiang, Lufeng Cheng, Ziyi Zhao, Youran Sun, Wesley Zheng, Meiyuwang Zhang, Ruyi Ji, Xuechang Tu, Zihan Zheng, Zexing Chen, Kangyang Zhou, Zhaozi Wang, Jingbang Chen, Aleksandra Korolova, Peter Henderson, Pramod Viswanath, Vijay Ganesh, Saining Xie, Zhuang Liu, Dawn Song, Sewon Min, Ion Stoica, Joseph E. Gonzalez, Jingbo Shang, Alvin Cheung
cs.AI
Resumo
Apresentamos o FrontierCS, um benchmark composto por 156 problemas de resposta aberta em diversas áreas da ciência da computação, concebido e revisto por especialistas, incluindo doutorados em Ciência da Computação (CS) e participantes e criadores de problemas de alto nível em programação competitiva. Ao contrário dos benchmarks existentes, que se concentram em tarefas com soluções ótimas conhecidas, o FrontierCS visa problemas onde a solução ótima é desconhecida, mas a qualidade de uma solução pode ser avaliada objetivamente. Os modelos resolvem essas tarefas implementando programas executáveis, em vez de produzir uma resposta direta. O FrontierCS inclui problemas algorítmicos, que são frequentemente variantes NP-difíceis de problemas de programação competitiva com pontuação parcial objetiva, e problemas de pesquisa com a mesma propriedade. Para cada problema, fornecemos uma solução de referência elaborada por especialistas e um avaliador automático. Combinando design de resposta aberta, progresso mensurável e curadoria especializada, o FrontierCS oferece um benchmark na fronteira da dificuldade em ciência da computação. Empiricamente, constatamos que os modelos de raciocínio de fronteira ainda estão muito aquém dos especialistas humanos tanto nas trilhas algorítmicas quanto nas de pesquisa, que o aumento apenas do orçamento de raciocínio não fecha essa lacuna, e que os modelos frequentemente superotimizam a geração de código meramente funcional em vez de descobrir algoritmos e designs de sistema de alta qualidade.
English
We introduce FrontierCS, a benchmark of 156 open-ended problems across diverse areas of computer science, designed and reviewed by experts, including CS PhDs and top-tier competitive programming participants and problem setters. Unlike existing benchmarks that focus on tasks with known optimal solutions, FrontierCS targets problems where the optimal solution is unknown, but the quality of a solution can be objectively evaluated. Models solve these tasks by implementing executable programs rather than outputting a direct answer. FrontierCS includes algorithmic problems, which are often NP-hard variants of competitive programming problems with objective partial scoring, and research problems with the same property. For each problem we provide an expert reference solution and an automatic evaluator. Combining open-ended design, measurable progress, and expert curation, FrontierCS provides a benchmark at the frontier of computer-science difficulty. Empirically, we find that frontier reasoning models still lag far behind human experts on both the algorithmic and research tracks, that increasing reasoning budgets alone does not close this gap, and that models often over-optimize for generating merely workable code instead of discovering high-quality algorithms and system designs.