LiveCodeBench Pro : Comment les médaillés des Olympiades évaluent-ils les LLM en programmation compétitive ?
LiveCodeBench Pro: How Do Olympiad Medalists Judge LLMs in Competitive Programming?
June 13, 2025
Auteurs: Zihan Zheng, Zerui Cheng, Zeyu Shen, Shang Zhou, Kaiyuan Liu, Hansen He, Dongruixuan Li, Stanley Wei, Hangyi Hao, Jianzhu Yao, Peiyao Sheng, Zixuan Wang, Wenhao Chai, Aleksandra Korolova, Peter Henderson, Sanjeev Arora, Pramod Viswanath, Jingbo Shang, Saining Xie
cs.AI
Résumé
Des rapports récents affirment que les grands modèles de langage (LLM) surpassent désormais les humains d'élite en programmation compétitive. En nous appuyant sur les connaissances d'un groupe de médaillés de concours internationaux d'algorithmique, nous réexaminons cette affirmation, en explorant comment les LLM diffèrent des experts humains et où subsistent des limitations. Nous présentons LiveCodeBench Pro, un benchmark composé de problèmes issus de Codeforces, ICPC et IOI, continuellement mis à jour pour réduire les risques de contamination des données. Une équipe de médaillés olympiques annote chaque problème selon des catégories algorithmiques et effectue une analyse ligne par ligne des soumissions générées par les modèles qui échouent. En utilisant ces nouvelles données et ce benchmark, nous constatons que les modèles de pointe présentent encore des limitations significatives : sans outils externes, le meilleur modèle n'atteint que 53 % de réussite (pass@1) sur des problèmes de difficulté moyenne et 0 % sur des problèmes difficiles, des domaines où les experts humains excellent toujours. Nous observons également que les LLM réussissent bien sur les problèmes axés sur l'implémentation, mais peinent avec le raisonnement algorithmique nuancé et l'analyse de cas complexes, générant souvent des justifications incorrectes mais confiantes. La haute performance semble largement motivée par la précision d'implémentation et l'augmentation par outils, et non par un raisonnement supérieur. LiveCodeBench Pro met ainsi en lumière l'écart significatif par rapport aux niveaux des grands maîtres humains, tout en offrant des diagnostics détaillés pour orienter les futures améliorations du raisonnement des LLM centré sur le code.
English
Recent reports claim that large language models (LLMs) now outperform elite
humans in competitive programming. Drawing on knowledge from a group of
medalists in international algorithmic contests, we revisit this claim,
examining how LLMs differ from human experts and where limitations still
remain. We introduce LiveCodeBench Pro, a benchmark composed of problems from
Codeforces, ICPC, and IOI that are continuously updated to reduce the
likelihood of data contamination. A team of Olympiad medalists annotates every
problem for algorithmic categories and conducts a line-by-line analysis of
failed model-generated submissions. Using this new data and benchmark, we find
that frontier models still have significant limitations: without external
tools, the best model achieves only 53% pass@1 on medium-difficulty problems
and 0% on hard problems, domains where expert humans still excel. We also find
that LLMs succeed at implementation-heavy problems but struggle with nuanced
algorithmic reasoning and complex case analysis, often generating confidently
incorrect justifications. High performance appears largely driven by
implementation precision and tool augmentation, not superior reasoning.
LiveCodeBench Pro thus highlights the significant gap to human grandmaster
levels, while offering fine-grained diagnostics to steer future improvements in
code-centric LLM reasoning.