LiveCodeBench Pro: Wie bewerten Olympiade-Medaillengewinner LLMs im Bereich des kompetitiven Programmierens?
LiveCodeBench Pro: How Do Olympiad Medalists Judge LLMs in Competitive Programming?
June 13, 2025
Autoren: Zihan Zheng, Zerui Cheng, Zeyu Shen, Shang Zhou, Kaiyuan Liu, Hansen He, Dongruixuan Li, Stanley Wei, Hangyi Hao, Jianzhu Yao, Peiyao Sheng, Zixuan Wang, Wenhao Chai, Aleksandra Korolova, Peter Henderson, Sanjeev Arora, Pramod Viswanath, Jingbo Shang, Saining Xie
cs.AI
Zusammenfassung
Aktuelle Berichte behaupten, dass große Sprachmodelle (LLMs) inzwischen Elite-Menschen im Bereich des kompetitiven Programmierens übertreffen. Unter Bezugnahme auf das Wissen einer Gruppe von Medaillengewinnern internationaler Algorithmenwettbewerbe überprüfen wir diese Behauptung und untersuchen, wie sich LLMs von menschlichen Experten unterscheiden und wo weiterhin Einschränkungen bestehen. Wir stellen LiveCodeBench Pro vor, einen Benchmark, der aus Aufgaben von Codeforces, ICPC und IOI besteht und kontinuierlich aktualisiert wird, um die Wahrscheinlichkeit von Datenkontamination zu verringern. Ein Team von Olympiade-Medaillengewinnern annotiert jede Aufgabe nach algorithmischen Kategorien und führt eine zeilenweise Analyse fehlgeschlagener, von Modellen generierter Einreichungen durch. Unter Verwendung dieser neuen Daten und des Benchmarks stellen wir fest, dass Spitzenmodelle weiterhin erhebliche Einschränkungen aufweisen: Ohne externe Werkzeuge erreicht das beste Modell nur 53 % pass@1 bei mittelschweren Aufgaben und 0 % bei schwierigen Aufgaben, Bereiche, in denen menschliche Experten nach wie vor hervorragend abschneiden. Wir stellen außerdem fest, dass LLMs bei implementierungsintensiven Aufgaben erfolgreich sind, jedoch mit nuanziertem algorithmischem Denken und komplexer Fallanalyse kämpfen und oft selbstbewusst falsche Begründungen generieren. Die hohe Leistung scheint weitgehend von Implementierungspräzision und Werkzeugunterstützung getrieben zu sein, nicht von überlegenem Denken. LiveCodeBench Pro verdeutlicht somit die erhebliche Lücke zu menschlichen Großmeister-Niveaus und bietet gleichzeitig detaillierte Diagnosen, um zukünftige Verbesserungen im codezentrierten Denken von LLMs zu steuern.
English
Recent reports claim that large language models (LLMs) now outperform elite
humans in competitive programming. Drawing on knowledge from a group of
medalists in international algorithmic contests, we revisit this claim,
examining how LLMs differ from human experts and where limitations still
remain. We introduce LiveCodeBench Pro, a benchmark composed of problems from
Codeforces, ICPC, and IOI that are continuously updated to reduce the
likelihood of data contamination. A team of Olympiad medalists annotates every
problem for algorithmic categories and conducts a line-by-line analysis of
failed model-generated submissions. Using this new data and benchmark, we find
that frontier models still have significant limitations: without external
tools, the best model achieves only 53% pass@1 on medium-difficulty problems
and 0% on hard problems, domains where expert humans still excel. We also find
that LLMs succeed at implementation-heavy problems but struggle with nuanced
algorithmic reasoning and complex case analysis, often generating confidently
incorrect justifications. High performance appears largely driven by
implementation precision and tool augmentation, not superior reasoning.
LiveCodeBench Pro thus highlights the significant gap to human grandmaster
levels, while offering fine-grained diagnostics to steer future improvements in
code-centric LLM reasoning.