CodeEditorBench : Évaluation des capacités d'édition de code des grands modèles de langage

CodeEditorBench: Evaluating Code Editing Capability of Large Language Models

April 4, 2024

Auteurs: Jiawei Guo, Ziming Li, Xueling Liu, Kaijing Ma, Tianyu Zheng, Zhouliang Yu, Ding Pan, Yizhi LI, Ruibo Liu, Yue Wang, Shuyue Guo, Xingwei Qu, Xiang Yue, Ge Zhang, Wenhu Chen, Jie Fu

cs.AI

Résumé

Les modèles de langage de grande taille (LLMs) pour le code évoluent rapidement, avec l'édition de code émergeant comme une capacité critique. Nous présentons CodeEditorBench, un cadre d'évaluation conçu pour évaluer rigoureusement les performances des LLMs dans les tâches d'édition de code, incluant le débogage, la traduction, le polissage et le changement de spécifications. Contrairement aux benchmarks existants qui se concentrent uniquement sur la génération de code, CodeEditorBench met l'accent sur des scénarios réels et des aspects pratiques du développement logiciel. Nous avons sélectionné des défis et scénarios de codage variés provenant de cinq sources, couvrant divers langages de programmation, niveaux de complexité et tâches d'édition. L'évaluation de 19 LLMs révèle que les modèles propriétaires (notamment Gemini-Ultra et GPT-4) surpassent les modèles open-source dans CodeEditorBench, mettant en lumière des différences de performance selon les types de problèmes et la sensibilité aux prompts. CodeEditorBench vise à catalyser les avancées des LLMs en fournissant une plateforme robuste pour évaluer les capacités d'édition de code. Nous publierons tous les prompts et jeux de données pour permettre à la communauté d'étendre le dataset et de benchmarker les nouveaux LLMs. En introduisant CodeEditorBench, nous contribuons à l'avancement des LLMs dans l'édition de code et offrons une ressource précieuse pour les chercheurs et les praticiens.

English

Large Language Models (LLMs) for code are rapidly evolving, with code editing emerging as a critical capability. We introduce CodeEditorBench, an evaluation framework designed to rigorously assess the performance of LLMs in code editing tasks, including debugging, translating, polishing, and requirement switching. Unlike existing benchmarks focusing solely on code generation, CodeEditorBench emphasizes real-world scenarios and practical aspects of software development. We curate diverse coding challenges and scenarios from five sources, covering various programming languages, complexity levels, and editing tasks. Evaluation of 19 LLMs reveals that closed-source models (particularly Gemini-Ultra and GPT-4), outperform open-source models in CodeEditorBench, highlighting differences in model performance based on problem types and prompt sensitivities. CodeEditorBench aims to catalyze advancements in LLMs by providing a robust platform for assessing code editing capabilities. We will release all prompts and datasets to enable the community to expand the dataset and benchmark emerging LLMs. By introducing CodeEditorBench, we contribute to the advancement of LLMs in code editing and provide a valuable resource for researchers and practitioners.