CodeElo: Оценка конкурентоспособного уровня генерации кода LLM с рейтингами Elo, сравнимыми с человеческими.

CodeElo: Benchmarking Competition-level Code Generation of LLMs with Human-comparable Elo Ratings

January 2, 2025

Авторы: Shanghaoran Quan, Jiaxi Yang, Bowen Yu, Bo Zheng, Dayiheng Liu, An Yang, Xuancheng Ren, Bofei Gao, Yibo Miao, Yunlong Feng, Zekun Wang, Jian Yang, Zeyu Cui, Yang Fan, Yichang Zhang, Binyuan Hui, Junyang Lin

cs.AI

Аннотация

С увеличением возможностей кодового рассуждения существующих крупных языковых моделей (LLM) и прорывов в моделях рассуждения, таких как OpenAI o1 и o3, возникает растущая потребность в разработке более сложных и всесторонних бенчмарков, которые эффективно проверяли бы их сложные способности к кодированию на уровне соревнований. Существующие бенчмарки, такие как LiveCodeBench и USACO, не соответствуют из-за отсутствия частных тестовых случаев, отсутствия поддержки специальных судей и несовпадения сред выполнения. Для устранения этого разрыва мы представляем CodeElo, стандартизированный бенчмарк генерации кода на уровне соревнований, который эффективно решает все эти проблемы впервые. Бенчмарк CodeElo в основном основан на официальной платформе CodeForces и стремится максимально согласовываться с этой платформой. Мы компилируем последние шесть месяцев задач соревнований на CodeForces с подробной информацией, такой как уровни соревнований, рейтинги сложности задач и теги алгоритмов задач. Мы представляем уникальный метод судейства, при котором задачи подаются непосредственно на платформу, и разрабатываем надежную систему расчета рейтинга Elo, которая соответствует платформе и сравнима с участниками-людьми, но имеет меньшую дисперсию. Проведя тестирование нашего CodeElo, мы предоставляем рейтинги Elo 30 существующих популярных открытых и 3 закрытых LLM впервые. Результаты показывают, что модели o1-mini и QwQ-32B-Preview значительно выделяются, достигая рейтингов Elo 1578 и 1261 соответственно, в то время как другие модели борются даже с самыми легкими задачами, занимая места в нижних 20 процентах среди всех участников-людей. Также проводятся детальные анализы экспериментов для предоставления понимания производительности по алгоритмам и сравнений между использованием C++ и Python, что может указать на направления для будущих исследований.

English

With the increasing code reasoning capabilities of existing large language models (LLMs) and breakthroughs in reasoning models like OpenAI o1 and o3, there is a growing need to develop more challenging and comprehensive benchmarks that effectively test their sophisticated competition-level coding abilities. Existing benchmarks, like LiveCodeBench and USACO, fall short due to the unavailability of private test cases, lack of support for special judges, and misaligned execution environments. To bridge this gap, we introduce CodeElo, a standardized competition-level code generation benchmark that effectively addresses all these challenges for the first time. CodeElo benchmark is mainly based on the official CodeForces platform and tries to align with the platform as much as possible. We compile the recent six months of contest problems on CodeForces with detailed information such as contest divisions, problem difficulty ratings, and problem algorithm tags. We introduce a unique judging method in which problems are submitted directly to the platform and develop a reliable Elo rating calculation system that aligns with the platform and is comparable with human participants but has lower variance. By testing on our CodeElo, we provide the Elo ratings of 30 existing popular open-source and 3 proprietary LLMs for the first time. The results show that o1-mini and QwQ-32B-Preview stand out significantly, achieving Elo ratings of 1578 and 1261, respectively, while other models struggle even with the easiest problems, placing in the lowest 20 percent among all human participants. Detailed analysis experiments are also conducted to provide insights into performance across algorithms and comparisons between using C++ and Python, which can suggest directions for future studies.