LiveCodeBench Pro: Как олимпийские медалисты оценивают языковые модели в соревновательном программировании?
LiveCodeBench Pro: How Do Olympiad Medalists Judge LLMs in Competitive Programming?
June 13, 2025
Авторы: Zihan Zheng, Zerui Cheng, Zeyu Shen, Shang Zhou, Kaiyuan Liu, Hansen He, Dongruixuan Li, Stanley Wei, Hangyi Hao, Jianzhu Yao, Peiyao Sheng, Zixuan Wang, Wenhao Chai, Aleksandra Korolova, Peter Henderson, Sanjeev Arora, Pramod Viswanath, Jingbo Shang, Saining Xie
cs.AI
Аннотация
Недавние сообщения утверждают, что крупные языковые модели (LLM) теперь превосходят элитных людей в соревновательном программировании. Опираясь на знания группы медалистов международных алгоритмических соревнований, мы пересматриваем это утверждение, исследуя, чем LLM отличаются от экспертов-людей и где сохраняются ограничения. Мы представляем LiveCodeBench Pro — эталонный тест, состоящий из задач с Codeforces, ICPC и IOI, которые постоянно обновляются для снижения вероятности загрязнения данных. Команда медалистов олимпиад аннотирует каждую задачу по алгоритмическим категориям и проводит построчный анализ неудачных решений, сгенерированных моделями. Используя эти новые данные и эталонный тест, мы обнаруживаем, что передовые модели всё ещё имеют значительные ограничения: без внешних инструментов лучшая модель достигает лишь 53% pass@1 на задачах средней сложности и 0% на сложных задачах, в которых эксперты-люди всё ещё преуспевают. Мы также обнаруживаем, что LLM успешно справляются с задачами, требующими интенсивной реализации, но испытывают трудности с тонким алгоритмическим рассуждением и сложным анализом случаев, часто генерируя уверенно неверные обоснования. Высокая производительность, по-видимому, в значительной степени обусловлена точностью реализации и использованием инструментов, а не превосходным рассуждением. Таким образом, LiveCodeBench Pro подчеркивает значительный разрыв с уровнем гроссмейстеров-людей, предлагая детализированную диагностику для направления будущих улучшений в рассуждениях LLM, ориентированных на код.
English
Recent reports claim that large language models (LLMs) now outperform elite
humans in competitive programming. Drawing on knowledge from a group of
medalists in international algorithmic contests, we revisit this claim,
examining how LLMs differ from human experts and where limitations still
remain. We introduce LiveCodeBench Pro, a benchmark composed of problems from
Codeforces, ICPC, and IOI that are continuously updated to reduce the
likelihood of data contamination. A team of Olympiad medalists annotates every
problem for algorithmic categories and conducts a line-by-line analysis of
failed model-generated submissions. Using this new data and benchmark, we find
that frontier models still have significant limitations: without external
tools, the best model achieves only 53% pass@1 on medium-difficulty problems
and 0% on hard problems, domains where expert humans still excel. We also find
that LLMs succeed at implementation-heavy problems but struggle with nuanced
algorithmic reasoning and complex case analysis, often generating confidently
incorrect justifications. High performance appears largely driven by
implementation precision and tool augmentation, not superior reasoning.
LiveCodeBench Pro thus highlights the significant gap to human grandmaster
levels, while offering fine-grained diagnostics to steer future improvements in
code-centric LLM reasoning.