CodeElo: Benchmarking van het genereren van code op competitieniveau van LLM's met Elo-beoordelingen vergelijkbaar met mensen.

CodeElo: Benchmarking Competition-level Code Generation of LLMs with Human-comparable Elo Ratings

January 2, 2025

Auteurs: Shanghaoran Quan, Jiaxi Yang, Bowen Yu, Bo Zheng, Dayiheng Liu, An Yang, Xuancheng Ren, Bofei Gao, Yibo Miao, Yunlong Feng, Zekun Wang, Jian Yang, Zeyu Cui, Yang Fan, Yichang Zhang, Binyuan Hui, Junyang Lin

cs.AI

Samenvatting

Met de toenemende redeneervermogens van bestaande grote taalmodellen (LLM's) en doorbraken in redeneermodellen zoals OpenAI o1 en o3, is er een groeiende behoefte om uitdagendere en uitgebreidere benchmarks te ontwikkelen die effectief hun geavanceerde programmeervaardigheden op competitieniveau testen. Bestaande benchmarks, zoals LiveCodeBench en USACO, schieten tekort vanwege de niet-beschikbaarheid van privé-testcases, het gebrek aan ondersteuning voor speciale judges en niet-uitgelijnde uitvoeringsomgevingen. Om deze kloof te overbruggen, introduceren we CodeElo, een gestandaardiseerde benchmark voor codegeneratie op competitieniveau die voor het eerst al deze uitdagingen effectief aanpakt. De CodeElo-benchmark is voornamelijk gebaseerd op het officiële CodeForces-platform en probeert zo veel mogelijk op dit platform aan te sluiten. We compileren de recente zes maanden aan wedstrijdproblemen op CodeForces met gedetailleerde informatie zoals wedstrijddivisies, moeilijkheidsgraden van problemen en algoritmetags van problemen. We introduceren een unieke beoordelingsmethode waarbij problemen rechtstreeks naar het platform worden ingediend en ontwikkelen een betrouwbaar Elo-beoordelingssysteem dat aansluit bij het platform en vergelijkbaar is met menselijke deelnemers maar met een lagere variantie. Door te testen op onze CodeElo, verstrekken we voor het eerst de Elo-beoordelingen van 30 bestaande populaire open-source en 3 eigen LLM's. De resultaten tonen aan dat o1-mini en QwQ-32B-Preview significant opvallen, met Elo-beoordelingen van respectievelijk 1578 en 1261, terwijl andere modellen zelfs moeite hebben met de gemakkelijkste problemen en zich in de laagste 20 procent van alle menselijke deelnemers bevinden. Gedetailleerde analyse-experimenten worden ook uitgevoerd om inzicht te bieden in prestaties over algoritmen en vergelijkingen tussen het gebruik van C++ en Python, wat richtingen voor toekomstige studies kan suggereren.

English

With the increasing code reasoning capabilities of existing large language models (LLMs) and breakthroughs in reasoning models like OpenAI o1 and o3, there is a growing need to develop more challenging and comprehensive benchmarks that effectively test their sophisticated competition-level coding abilities. Existing benchmarks, like LiveCodeBench and USACO, fall short due to the unavailability of private test cases, lack of support for special judges, and misaligned execution environments. To bridge this gap, we introduce CodeElo, a standardized competition-level code generation benchmark that effectively addresses all these challenges for the first time. CodeElo benchmark is mainly based on the official CodeForces platform and tries to align with the platform as much as possible. We compile the recent six months of contest problems on CodeForces with detailed information such as contest divisions, problem difficulty ratings, and problem algorithm tags. We introduce a unique judging method in which problems are submitted directly to the platform and develop a reliable Elo rating calculation system that aligns with the platform and is comparable with human participants but has lower variance. By testing on our CodeElo, we provide the Elo ratings of 30 existing popular open-source and 3 proprietary LLMs for the first time. The results show that o1-mini and QwQ-32B-Preview stand out significantly, achieving Elo ratings of 1578 and 1261, respectively, while other models struggle even with the easiest problems, placing in the lowest 20 percent among all human participants. Detailed analysis experiments are also conducted to provide insights into performance across algorithms and comparisons between using C++ and Python, which can suggest directions for future studies.