LiveCodeBench Pro: Come Giudicano i Vincitori di Medaglie Olimpiche gli LLM nella Programmazione Competitiva?
LiveCodeBench Pro: How Do Olympiad Medalists Judge LLMs in Competitive Programming?
June 13, 2025
Autori: Zihan Zheng, Zerui Cheng, Zeyu Shen, Shang Zhou, Kaiyuan Liu, Hansen He, Dongruixuan Li, Stanley Wei, Hangyi Hao, Jianzhu Yao, Peiyao Sheng, Zixuan Wang, Wenhao Chai, Aleksandra Korolova, Peter Henderson, Sanjeev Arora, Pramod Viswanath, Jingbo Shang, Saining Xie
cs.AI
Abstract
Recenti rapporti affermano che i grandi modelli linguistici (LLM) superano ora gli esseri umani d'élite nella programmazione competitiva. Attingendo alla conoscenza di un gruppo di medagliati in competizioni algoritmiche internazionali, esaminiamo nuovamente questa affermazione, analizzando come gli LLM differiscano dagli esperti umani e dove permangano ancora limitazioni. Introduciamo LiveCodeBench Pro, un benchmark composto da problemi provenienti da Codeforces, ICPC e IOI che vengono aggiornati continuamente per ridurre la probabilità di contaminazione dei dati. Un team di medagliati delle Olimpiadi annota ogni problema per categorie algoritmiche e conduce un'analisi riga per riga delle soluzioni generate dai modelli che falliscono. Utilizzando questi nuovi dati e benchmark, scopriamo che i modelli di frontiera presentano ancora limitazioni significative: senza strumenti esterni, il miglior modello raggiunge solo il 53% di pass@1 su problemi di media difficoltà e lo 0% su problemi difficili, ambiti in cui gli esperti umani eccellono ancora. Troviamo inoltre che gli LLM hanno successo nei problemi con un'implementazione complessa ma faticano nel ragionamento algoritmico sfumato e nell'analisi di casi complessi, spesso generando giustificazioni sicure ma errate. L'alta performance sembra essere guidata principalmente dalla precisione nell'implementazione e dall'aumento degli strumenti, non da un ragionamento superiore. LiveCodeBench Pro evidenzia quindi il significativo divario rispetto ai livelli dei grandi maestri umani, offrendo al contempo diagnosi dettagliate per orientare i futuri miglioramenti nel ragionamento degli LLM centrato sul codice.
English
Recent reports claim that large language models (LLMs) now outperform elite
humans in competitive programming. Drawing on knowledge from a group of
medalists in international algorithmic contests, we revisit this claim,
examining how LLMs differ from human experts and where limitations still
remain. We introduce LiveCodeBench Pro, a benchmark composed of problems from
Codeforces, ICPC, and IOI that are continuously updated to reduce the
likelihood of data contamination. A team of Olympiad medalists annotates every
problem for algorithmic categories and conducts a line-by-line analysis of
failed model-generated submissions. Using this new data and benchmark, we find
that frontier models still have significant limitations: without external
tools, the best model achieves only 53% pass@1 on medium-difficulty problems
and 0% on hard problems, domains where expert humans still excel. We also find
that LLMs succeed at implementation-heavy problems but struggle with nuanced
algorithmic reasoning and complex case analysis, often generating confidently
incorrect justifications. High performance appears largely driven by
implementation precision and tool augmentation, not superior reasoning.
LiveCodeBench Pro thus highlights the significant gap to human grandmaster
levels, while offering fine-grained diagnostics to steer future improvements in
code-centric LLM reasoning.