LiveCodeBench Pro: Como Medalhistas de Olimpíadas Avaliam LLMs na Programação Competitiva?
LiveCodeBench Pro: How Do Olympiad Medalists Judge LLMs in Competitive Programming?
June 13, 2025
Autores: Zihan Zheng, Zerui Cheng, Zeyu Shen, Shang Zhou, Kaiyuan Liu, Hansen He, Dongruixuan Li, Stanley Wei, Hangyi Hao, Jianzhu Yao, Peiyao Sheng, Zixuan Wang, Wenhao Chai, Aleksandra Korolova, Peter Henderson, Sanjeev Arora, Pramod Viswanath, Jingbo Shang, Saining Xie
cs.AI
Resumo
Relatos recentes afirmam que os grandes modelos de linguagem (LLMs, na sigla em inglês) agora superam humanos de elite em programação competitiva. Com base no conhecimento de um grupo de medalhistas de competições internacionais de algoritmos, revisitamos essa afirmação, examinando como os LLMs diferem de especialistas humanos e onde ainda persistem limitações. Apresentamos o LiveCodeBench Pro, um benchmark composto por problemas do Codeforces, ICPC e IOI que são continuamente atualizados para reduzir a probabilidade de contaminação de dados. Uma equipe de medalhistas de olimpíadas anota cada problema em categorias algorítmicas e realiza uma análise linha por linha das submissões geradas por modelos que falharam. Utilizando esses novos dados e benchmark, descobrimos que os modelos de ponta ainda têm limitações significativas: sem ferramentas externas, o melhor modelo alcança apenas 53% de acerto (pass@1) em problemas de dificuldade média e 0% em problemas difíceis, domínios onde humanos especialistas ainda se destacam. Também observamos que os LLMs têm sucesso em problemas com foco em implementação, mas lutam com raciocínio algorítmico sutil e análise de casos complexos, frequentemente gerando justificativas confiantes, porém incorretas. O alto desempenho parece ser impulsionado principalmente pela precisão de implementação e pela ampliação de ferramentas, e não por um raciocínio superior. Assim, o LiveCodeBench Pro destaca a lacuna significativa em relação aos níveis de grandes mestres humanos, ao mesmo tempo que oferece diagnósticos detalhados para orientar futuras melhorias no raciocínio de LLMs centrados em código.
English
Recent reports claim that large language models (LLMs) now outperform elite
humans in competitive programming. Drawing on knowledge from a group of
medalists in international algorithmic contests, we revisit this claim,
examining how LLMs differ from human experts and where limitations still
remain. We introduce LiveCodeBench Pro, a benchmark composed of problems from
Codeforces, ICPC, and IOI that are continuously updated to reduce the
likelihood of data contamination. A team of Olympiad medalists annotates every
problem for algorithmic categories and conducts a line-by-line analysis of
failed model-generated submissions. Using this new data and benchmark, we find
that frontier models still have significant limitations: without external
tools, the best model achieves only 53% pass@1 on medium-difficulty problems
and 0% on hard problems, domains where expert humans still excel. We also find
that LLMs succeed at implementation-heavy problems but struggle with nuanced
algorithmic reasoning and complex case analysis, often generating confidently
incorrect justifications. High performance appears largely driven by
implementation precision and tool augmentation, not superior reasoning.
LiveCodeBench Pro thus highlights the significant gap to human grandmaster
levels, while offering fine-grained diagnostics to steer future improvements in
code-centric LLM reasoning.