LiveCodeBench Pro: Hoe Beoordelen Olympiade-medaillewinnaars LLM's in Competitief Programmeren?
LiveCodeBench Pro: How Do Olympiad Medalists Judge LLMs in Competitive Programming?
June 13, 2025
Auteurs: Zihan Zheng, Zerui Cheng, Zeyu Shen, Shang Zhou, Kaiyuan Liu, Hansen He, Dongruixuan Li, Stanley Wei, Hangyi Hao, Jianzhu Yao, Peiyao Sheng, Zixuan Wang, Wenhao Chai, Aleksandra Korolova, Peter Henderson, Sanjeev Arora, Pramod Viswanath, Jingbo Shang, Saining Xie
cs.AI
Samenvatting
Recente rapporten beweren dat grote taalmodellen (LLMs) nu beter presteren dan elite-mensen in competitief programmeren. Gebruikmakend van kennis van een groep medaillewinnaars in internationale algoritmische wedstrijden, herzien wij deze bewering en onderzoeken hoe LLMs verschillen van menselijke experts en waar beperkingen nog steeds bestaan. Wij introduceren LiveCodeBench Pro, een benchmark samengesteld uit problemen van Codeforces, ICPC en IOI die continu worden bijgewerkt om de kans op gegevensbesmetting te verkleinen. Een team van Olympiade-medaillewinnaars annoteert elk probleem voor algoritmische categorieën en voert een regel-voor-regel analyse uit van mislukte modelgegenereerde inzendingen. Met behulp van deze nieuwe gegevens en benchmark ontdekken wij dat toonaangevende modellen nog steeds aanzienlijke beperkingen hebben: zonder externe hulpmiddelen behaalt het beste model slechts 53% pass@1 op problemen van gemiddelde moeilijkheidsgraad en 0% op moeilijke problemen, domeinen waar menselijke experts nog steeds uitblinken. Wij constateren ook dat LLMs succesvol zijn bij implementatie-intensieve problemen, maar moeite hebben met genuanceerd algoritmisch redeneren en complexe gevalanalyses, waarbij zij vaak zelfverzekerd onjuiste rechtvaardigingen genereren. Hoge prestaties lijken grotendeels gedreven door implementatienauwkeurigheid en toolaugmentatie, niet door superieur redeneren. LiveCodeBench Pro benadrukt dus de aanzienlijke kloof met menselijke grootmeesterniveaus, terwijl het fijnmazige diagnostiek biedt om toekomstige verbeteringen in code-gericht LLM-redeneren te sturen.
English
Recent reports claim that large language models (LLMs) now outperform elite
humans in competitive programming. Drawing on knowledge from a group of
medalists in international algorithmic contests, we revisit this claim,
examining how LLMs differ from human experts and where limitations still
remain. We introduce LiveCodeBench Pro, a benchmark composed of problems from
Codeforces, ICPC, and IOI that are continuously updated to reduce the
likelihood of data contamination. A team of Olympiad medalists annotates every
problem for algorithmic categories and conducts a line-by-line analysis of
failed model-generated submissions. Using this new data and benchmark, we find
that frontier models still have significant limitations: without external
tools, the best model achieves only 53% pass@1 on medium-difficulty problems
and 0% on hard problems, domains where expert humans still excel. We also find
that LLMs succeed at implementation-heavy problems but struggle with nuanced
algorithmic reasoning and complex case analysis, often generating confidently
incorrect justifications. High performance appears largely driven by
implementation precision and tool augmentation, not superior reasoning.
LiveCodeBench Pro thus highlights the significant gap to human grandmaster
levels, while offering fine-grained diagnostics to steer future improvements in
code-centric LLM reasoning.