CodeEditorBench: Evaluación de la Capacidad de Edición de Código en Modelos de Lenguaje de Gran Escala

CodeEditorBench: Evaluating Code Editing Capability of Large Language Models

April 4, 2024

Autores: Jiawei Guo, Ziming Li, Xueling Liu, Kaijing Ma, Tianyu Zheng, Zhouliang Yu, Ding Pan, Yizhi LI, Ruibo Liu, Yue Wang, Shuyue Guo, Xingwei Qu, Xiang Yue, Ge Zhang, Wenhu Chen, Jie Fu

cs.AI

Resumen

Los Modelos de Lenguaje de Gran Escala (LLMs) para código están evolucionando rápidamente, con la edición de código emergiendo como una capacidad crítica. Presentamos CodeEditorBench, un marco de evaluación diseñado para evaluar rigurosamente el rendimiento de los LLMs en tareas de edición de código, incluyendo depuración, traducción, pulido y cambio de requisitos. A diferencia de los puntos de referencia existentes que se centran únicamente en la generación de código, CodeEditorBench enfatiza escenarios del mundo real y aspectos prácticos del desarrollo de software. Hemos seleccionado diversos desafíos y escenarios de programación de cinco fuentes, cubriendo varios lenguajes de programación, niveles de complejidad y tareas de edición. La evaluación de 19 LLMs revela que los modelos de código cerrado (particularmente Gemini-Ultra y GPT-4) superan a los modelos de código abierto en CodeEditorBench, destacando diferencias en el rendimiento del modelo según los tipos de problemas y las sensibilidades de los prompts. CodeEditorBench tiene como objetivo catalizar avances en los LLMs al proporcionar una plataforma robusta para evaluar las capacidades de edición de código. Liberaremos todos los prompts y conjuntos de datos para permitir que la comunidad amplíe el conjunto de datos y evalúe los LLMs emergentes. Al introducir CodeEditorBench, contribuimos al avance de los LLMs en la edición de código y proporcionamos un recurso valioso para investigadores y profesionales.

English

Large Language Models (LLMs) for code are rapidly evolving, with code editing emerging as a critical capability. We introduce CodeEditorBench, an evaluation framework designed to rigorously assess the performance of LLMs in code editing tasks, including debugging, translating, polishing, and requirement switching. Unlike existing benchmarks focusing solely on code generation, CodeEditorBench emphasizes real-world scenarios and practical aspects of software development. We curate diverse coding challenges and scenarios from five sources, covering various programming languages, complexity levels, and editing tasks. Evaluation of 19 LLMs reveals that closed-source models (particularly Gemini-Ultra and GPT-4), outperform open-source models in CodeEditorBench, highlighting differences in model performance based on problem types and prompt sensitivities. CodeEditorBench aims to catalyze advancements in LLMs by providing a robust platform for assessing code editing capabilities. We will release all prompts and datasets to enable the community to expand the dataset and benchmark emerging LLMs. By introducing CodeEditorBench, we contribute to the advancement of LLMs in code editing and provide a valuable resource for researchers and practitioners.