CodeElo: Evaluación comparativa de generación de código a nivel de competencia de LLMs con calificaciones Elo comparables a las humanas

CodeElo: Benchmarking Competition-level Code Generation of LLMs with Human-comparable Elo Ratings

January 2, 2025

Autores: Shanghaoran Quan, Jiaxi Yang, Bowen Yu, Bo Zheng, Dayiheng Liu, An Yang, Xuancheng Ren, Bofei Gao, Yibo Miao, Yunlong Feng, Zekun Wang, Jian Yang, Zeyu Cui, Yang Fan, Yichang Zhang, Binyuan Hui, Junyang Lin

cs.AI

Resumen

Con el aumento de las capacidades de razonamiento de código de los modelos de lenguaje grandes existentes (LLMs) y los avances en modelos de razonamiento como OpenAI o1 y o3, surge la necesidad creciente de desarrollar benchmarks más desafiantes y completos que prueben eficazmente sus sofisticadas habilidades de codificación a nivel de competencia. Los benchmarks existentes, como LiveCodeBench y USACO, no cumplen debido a la falta de casos de prueba privados, la falta de soporte para jueces especiales y entornos de ejecución desalineados. Para cerrar esta brecha, presentamos CodeElo, un benchmark estandarizado de generación de código a nivel de competencia que aborda eficazmente todos estos desafíos por primera vez. El benchmark CodeElo se basa principalmente en la plataforma oficial CodeForces e intenta alinearse con la plataforma tanto como sea posible. Compilamos los problemas de concursos de los últimos seis meses en CodeForces con información detallada como divisiones de concursos, calificaciones de dificultad de problemas y etiquetas de algoritmos de problemas. Introducimos un método de evaluación único en el que los problemas se envían directamente a la plataforma y desarrollamos un sistema confiable de cálculo de calificación Elo que se alinea con la plataforma y es comparable con los participantes humanos pero tiene una varianza menor. Al probar en nuestro CodeElo, proporcionamos las calificaciones Elo de 30 LLMs populares de código abierto y 3 propietarios por primera vez. Los resultados muestran que o1-mini y QwQ-32B-Preview se destacan significativamente, logrando calificaciones Elo de 1578 y 1261, respectivamente, mientras que otros modelos luchan incluso con los problemas más fáciles, ubicándose en el 20 por ciento más bajo entre todos los participantes humanos. También se realizan experimentos de análisis detallados para proporcionar información sobre el rendimiento en algoritmos y comparaciones entre el uso de C++ y Python, lo que puede sugerir direcciones para estudios futuros.

English

With the increasing code reasoning capabilities of existing large language models (LLMs) and breakthroughs in reasoning models like OpenAI o1 and o3, there is a growing need to develop more challenging and comprehensive benchmarks that effectively test their sophisticated competition-level coding abilities. Existing benchmarks, like LiveCodeBench and USACO, fall short due to the unavailability of private test cases, lack of support for special judges, and misaligned execution environments. To bridge this gap, we introduce CodeElo, a standardized competition-level code generation benchmark that effectively addresses all these challenges for the first time. CodeElo benchmark is mainly based on the official CodeForces platform and tries to align with the platform as much as possible. We compile the recent six months of contest problems on CodeForces with detailed information such as contest divisions, problem difficulty ratings, and problem algorithm tags. We introduce a unique judging method in which problems are submitted directly to the platform and develop a reliable Elo rating calculation system that aligns with the platform and is comparable with human participants but has lower variance. By testing on our CodeElo, we provide the Elo ratings of 30 existing popular open-source and 3 proprietary LLMs for the first time. The results show that o1-mini and QwQ-32B-Preview stand out significantly, achieving Elo ratings of 1578 and 1261, respectively, while other models struggle even with the easiest problems, placing in the lowest 20 percent among all human participants. Detailed analysis experiments are also conducted to provide insights into performance across algorithms and comparisons between using C++ and Python, which can suggest directions for future studies.