CodeElo: Benchmarking Wettbewerbsniveau der Code-Generierung von LLMs mit Elo-Ratings, die mit Menschen vergleichbar sind.

CodeElo: Benchmarking Competition-level Code Generation of LLMs with Human-comparable Elo Ratings

January 2, 2025

Autoren: Shanghaoran Quan, Jiaxi Yang, Bowen Yu, Bo Zheng, Dayiheng Liu, An Yang, Xuancheng Ren, Bofei Gao, Yibo Miao, Yunlong Feng, Zekun Wang, Jian Yang, Zeyu Cui, Yang Fan, Yichang Zhang, Binyuan Hui, Junyang Lin

cs.AI

Zusammenfassung

Mit den zunehmenden Code-Reasoning-Fähigkeiten bestehender großer Sprachmodelle (LLMs) und Durchbrüchen bei Reasoning-Modellen wie OpenAI o1 und o3 besteht ein wachsender Bedarf, anspruchsvollere und umfassendere Benchmarks zu entwickeln, die ihre ausgefeilten Wettbewerbsfähigkeiten im Codieren effektiv testen. Bestehende Benchmarks wie LiveCodeBench und USACO sind aufgrund der Nichtverfügbarkeit von privaten Testfällen, des Mangels an Unterstützung für spezielle Richter und nicht übereinstimmender Ausführungsumgebungen unzureichend. Um diese Lücke zu schließen, führen wir CodeElo ein, einen standardisierten Benchmark für die Codegenerierung auf Wettbewerbsniveau, der erstmals all diese Herausforderungen effektiv angeht. Der CodeElo-Benchmark basiert hauptsächlich auf der offiziellen CodeForces-Plattform und versucht, sich so weit wie möglich an die Plattform anzupassen. Wir kompilieren die Probleme der letzten sechs Monate an Wettbewerben auf CodeForces mit detaillierten Informationen wie Wettbewerbsdivisionen, Schwierigkeitsbewertungen der Probleme und Algorithmus-Tags der Probleme. Wir führen eine einzigartige Bewertungsmethode ein, bei der Probleme direkt an die Plattform übermittelt werden, und entwickeln ein zuverlässiges Elo-Bewertungssystem, das sich an die Plattform anpasst und mit menschlichen Teilnehmern vergleichbar ist, aber eine geringere Varianz aufweist. Durch Tests auf unserem CodeElo liefern wir erstmals die Elo-Bewertungen von 30 bestehenden beliebten Open-Source- und 3 proprietären LLMs. Die Ergebnisse zeigen, dass o1-mini und QwQ-32B-Preview signifikant herausragen und Elo-Bewertungen von 1578 bzw. 1261 erzielen, während andere Modelle selbst mit den einfachsten Problemen kämpfen und sich unter den untersten 20 Prozent aller menschlichen Teilnehmer platzieren. Detaillierte Analyseexperimente werden ebenfalls durchgeführt, um Einblicke in die Leistung über Algorithmen hinweg und Vergleiche zwischen der Verwendung von C++ und Python zu bieten, was Richtungen für zukünftige Studien vorschlagen kann.

English

With the increasing code reasoning capabilities of existing large language models (LLMs) and breakthroughs in reasoning models like OpenAI o1 and o3, there is a growing need to develop more challenging and comprehensive benchmarks that effectively test their sophisticated competition-level coding abilities. Existing benchmarks, like LiveCodeBench and USACO, fall short due to the unavailability of private test cases, lack of support for special judges, and misaligned execution environments. To bridge this gap, we introduce CodeElo, a standardized competition-level code generation benchmark that effectively addresses all these challenges for the first time. CodeElo benchmark is mainly based on the official CodeForces platform and tries to align with the platform as much as possible. We compile the recent six months of contest problems on CodeForces with detailed information such as contest divisions, problem difficulty ratings, and problem algorithm tags. We introduce a unique judging method in which problems are submitted directly to the platform and develop a reliable Elo rating calculation system that aligns with the platform and is comparable with human participants but has lower variance. By testing on our CodeElo, we provide the Elo ratings of 30 existing popular open-source and 3 proprietary LLMs for the first time. The results show that o1-mini and QwQ-32B-Preview stand out significantly, achieving Elo ratings of 1578 and 1261, respectively, while other models struggle even with the easiest problems, placing in the lowest 20 percent among all human participants. Detailed analysis experiments are also conducted to provide insights into performance across algorithms and comparisons between using C++ and Python, which can suggest directions for future studies.