LiveCodeBench Pro: ¿Cómo evalúan los medallistas olímpicos a los LLM en la programación competitiva?
LiveCodeBench Pro: How Do Olympiad Medalists Judge LLMs in Competitive Programming?
June 13, 2025
Autores: Zihan Zheng, Zerui Cheng, Zeyu Shen, Shang Zhou, Kaiyuan Liu, Hansen He, Dongruixuan Li, Stanley Wei, Hangyi Hao, Jianzhu Yao, Peiyao Sheng, Zixuan Wang, Wenhao Chai, Aleksandra Korolova, Peter Henderson, Sanjeev Arora, Pramod Viswanath, Jingbo Shang, Saining Xie
cs.AI
Resumen
Informes recientes afirman que los modelos de lenguaje de gran escala (LLMs, por sus siglas en inglés) ahora superan a los humanos de élite en programación competitiva. Basándonos en el conocimiento de un grupo de medallistas en concursos internacionales de algoritmos, revisamos esta afirmación, examinando cómo los LLMs difieren de los expertos humanos y dónde persisten las limitaciones. Presentamos LiveCodeBench Pro, un punto de referencia compuesto por problemas de Codeforces, ICPC y IOI que se actualizan continuamente para reducir la probabilidad de contaminación de datos. Un equipo de medallistas olímpicos anota cada problema según categorías algorítmicas y realiza un análisis línea por línea de las soluciones generadas por modelos que fallan. Utilizando estos nuevos datos y punto de referencia, encontramos que los modelos de vanguardia aún tienen limitaciones significativas: sin herramientas externas, el mejor modelo logra solo un 53% de aciertos en problemas de dificultad media y un 0% en problemas difíciles, áreas en las que los expertos humanos aún sobresalen. También observamos que los LLMs tienen éxito en problemas con un fuerte componente de implementación, pero luchan con el razonamiento algorítmico matizado y el análisis de casos complejos, generando con frecuencia justificaciones incorrectas con confianza. El alto rendimiento parece estar impulsado principalmente por la precisión en la implementación y la ampliación de herramientas, no por un razonamiento superior. LiveCodeBench Pro destaca así la brecha significativa con los niveles de gran maestro humano, al tiempo que ofrece diagnósticos detallados para guiar futuras mejoras en el razonamiento de LLMs centrado en código.
English
Recent reports claim that large language models (LLMs) now outperform elite
humans in competitive programming. Drawing on knowledge from a group of
medalists in international algorithmic contests, we revisit this claim,
examining how LLMs differ from human experts and where limitations still
remain. We introduce LiveCodeBench Pro, a benchmark composed of problems from
Codeforces, ICPC, and IOI that are continuously updated to reduce the
likelihood of data contamination. A team of Olympiad medalists annotates every
problem for algorithmic categories and conducts a line-by-line analysis of
failed model-generated submissions. Using this new data and benchmark, we find
that frontier models still have significant limitations: without external
tools, the best model achieves only 53% pass@1 on medium-difficulty problems
and 0% on hard problems, domains where expert humans still excel. We also find
that LLMs succeed at implementation-heavy problems but struggle with nuanced
algorithmic reasoning and complex case analysis, often generating confidently
incorrect justifications. High performance appears largely driven by
implementation precision and tool augmentation, not superior reasoning.
LiveCodeBench Pro thus highlights the significant gap to human grandmaster
levels, while offering fine-grained diagnostics to steer future improvements in
code-centric LLM reasoning.