Évaluation et Alignement des CodeLLMs sur les Préférences Humaines

Evaluating and Aligning CodeLLMs on Human Preference

December 6, 2024

Auteurs: Jian Yang, Jiaxi Yang, Ke Jin, Yibo Miao, Lei Zhang, Liqun Yang, Zeyu Cui, Yichang Zhang, Binyuan Hui, Junyang Lin

cs.AI

Résumé

Les grands modèles de langage de code (codeLLMs) ont réalisé des avancées significatives dans la génération de code. La plupart des benchmarks précédents liés au code, qui consistent en divers exercices de programmation accompagnés des cas de test correspondants, sont utilisés comme mesure commune pour évaluer les performances et les capacités des codeLLMs. Cependant, les codeLLMs actuels se concentrent sur la synthèse du bon extrait de code, en négligeant l'alignement avec les préférences humaines, où la requête devrait être échantillonnée à partir de scénarios d'application pratiques et les réponses générées par le modèle devraient satisfaire les préférences humaines. Pour combler l'écart entre la réponse générée par le modèle et la préférence humaine, nous présentons un benchmark rigoureusement élaboré par des humains, CodeArena, pour émuler la complexité et la diversité des tâches de codage du monde réel, comprenant 397 échantillons de haute qualité répartis dans 40 catégories et 44 langages de programmation, soigneusement sélectionnés à partir de requêtes d'utilisateurs. De plus, nous proposons un corpus d'instructions synthétiques divers SynCode-Instruct (près de 20 milliards de jetons) en mettant à l'échelle les instructions du site web pour vérifier l'efficacité du fine-tuning synthétique à grande échelle des instructions, où Qwen2.5-SynCoder totalement formé sur des données d'instructions synthétiques peut atteindre des performances de premier plan des codeLLMs open source. Les résultats révèlent des différences de performances entre les benchmarks basés sur l'exécution et CodeArena. Nos expériences systématiques de CodeArena sur plus de 40 codeLLMs révèlent un écart de performance notable entre les codeLLMs open source de pointe (par exemple, Qwen2.5-Coder) et les codeLLMs propriétaires (par exemple, OpenAI o1), soulignant l'importance de l'alignement avec les préférences humaines.

English

Code large language models (codeLLMs) have made significant strides in code generation. Most previous code-related benchmarks, which consist of various programming exercises along with the corresponding test cases, are used as a common measure to evaluate the performance and capabilities of code LLMs. However, the current code LLMs focus on synthesizing the correct code snippet, ignoring the alignment with human preferences, where the query should be sampled from the practical application scenarios and the model-generated responses should satisfy the human preference. To bridge the gap between the model-generated response and human preference, we present a rigorous human-curated benchmark CodeArena to emulate the complexity and diversity of real-world coding tasks, where 397 high-quality samples spanning 40 categories and 44 programming languages, carefully curated from user queries. Further, we propose a diverse synthetic instruction corpus SynCode-Instruct (nearly 20B tokens) by scaling instructions from the website to verify the effectiveness of the large-scale synthetic instruction fine-tuning, where Qwen2.5-SynCoder totally trained on synthetic instruction data can achieve top-tier performance of open-source code LLMs. The results find performance differences between execution-based benchmarks and CodeArena. Our systematic experiments of CodeArena on 40+ LLMs reveal a notable performance gap between open SOTA code LLMs (e.g. Qwen2.5-Coder) and proprietary LLMs (e.g., OpenAI o1), underscoring the importance of the human preference alignment.\url{https://codearenaeval.github.io/ }