Bewertung und Ausrichtung von CodeLLMs an menschlichen Präferenzen

Evaluating and Aligning CodeLLMs on Human Preference

December 6, 2024

Autoren: Jian Yang, Jiaxi Yang, Ke Jin, Yibo Miao, Lei Zhang, Liqun Yang, Zeyu Cui, Yichang Zhang, Binyuan Hui, Junyang Lin

cs.AI

Zusammenfassung

Große Sprachmodelle für Code (codeLLMs) haben bedeutende Fortschritte bei der Codegenerierung erzielt. Die meisten bisherigen codebezogenen Benchmarks, die aus verschiedenen Programmieraufgaben zusammen mit den entsprechenden Testfällen bestehen, werden als gemeinsames Maß verwendet, um die Leistung und Fähigkeiten von CodeLLMs zu bewerten. Allerdings konzentrieren sich die aktuellen CodeLLMs darauf, den korrekten Codeausschnitt zu synthetisieren, und vernachlässigen die Übereinstimmung mit menschlichen Präferenzen, bei denen die Abfrage aus praktischen Anwendungsszenarien stammen sollte und die vom Modell generierten Antworten den menschlichen Präferenzen entsprechen sollten. Um die Kluft zwischen der vom Modell generierten Antwort und den menschlichen Präferenzen zu überbrücken, präsentieren wir einen streng von Menschen kuratierten Benchmark CodeArena, um die Komplexität und Vielfalt realer Codieraufgaben nachzubilden, wobei 397 hochwertige Beispiele aus 40 Kategorien und 44 Programmiersprachen sorgfältig aus Benutzeranfragen kuratiert wurden. Darüber hinaus schlagen wir einen vielfältigen synthetischen Anweisungskorpus SynCode-Instruct (fast 20 Mrd. Tokens) vor, indem Anweisungen von der Website skaliert werden, um die Wirksamkeit des Feinabstimmens von groß angelegten synthetischen Anweisungen zu überprüfen, wobei Qwen2.5-SynCoder, der vollständig auf synthetischen Anweisungsdaten trainiert ist, eine Spitzenleistung von Open-Source-CodeLLMs erreichen kann. Die Ergebnisse zeigen Leistungsunterschiede zwischen ausführungsbasierten Benchmarks und CodeArena auf. Unsere systematischen Experimente mit CodeArena an über 40 LLMs zeigen eine bemerkenswerte Leistungslücke zwischen führenden Open-Source-CodeLLMs (z. B. Qwen2.5-Coder) und proprietären LLMs (z. B. OpenAI o1), was die Bedeutung der Übereinstimmung mit menschlichen Präferenzen hervorhebt.

English

Code large language models (codeLLMs) have made significant strides in code generation. Most previous code-related benchmarks, which consist of various programming exercises along with the corresponding test cases, are used as a common measure to evaluate the performance and capabilities of code LLMs. However, the current code LLMs focus on synthesizing the correct code snippet, ignoring the alignment with human preferences, where the query should be sampled from the practical application scenarios and the model-generated responses should satisfy the human preference. To bridge the gap between the model-generated response and human preference, we present a rigorous human-curated benchmark CodeArena to emulate the complexity and diversity of real-world coding tasks, where 397 high-quality samples spanning 40 categories and 44 programming languages, carefully curated from user queries. Further, we propose a diverse synthetic instruction corpus SynCode-Instruct (nearly 20B tokens) by scaling instructions from the website to verify the effectiveness of the large-scale synthetic instruction fine-tuning, where Qwen2.5-SynCoder totally trained on synthetic instruction data can achieve top-tier performance of open-source code LLMs. The results find performance differences between execution-based benchmarks and CodeArena. Our systematic experiments of CodeArena on 40+ LLMs reveal a notable performance gap between open SOTA code LLMs (e.g. Qwen2.5-Coder) and proprietary LLMs (e.g., OpenAI o1), underscoring the importance of the human preference alignment.\url{https://codearenaeval.github.io/ }