CodeEditorBench: Avaliando a Capacidade de Edição de Código de Modelos de Linguagem de Grande Escala

CodeEditorBench: Evaluating Code Editing Capability of Large Language Models

April 4, 2024

Autores: Jiawei Guo, Ziming Li, Xueling Liu, Kaijing Ma, Tianyu Zheng, Zhouliang Yu, Ding Pan, Yizhi LI, Ruibo Liu, Yue Wang, Shuyue Guo, Xingwei Qu, Xiang Yue, Ge Zhang, Wenhu Chen, Jie Fu

cs.AI

Resumo

Os Modelos de Linguagem de Grande Escala (LLMs) para código estão evoluindo rapidamente, com a edição de código emergindo como uma capacidade crítica. Apresentamos o CodeEditorBench, uma estrutura de avaliação projetada para avaliar rigorosamente o desempenho de LLMs em tarefas de edição de código, incluindo depuração, tradução, refinamento e mudança de requisitos. Diferente dos benchmarks existentes que se concentram apenas na geração de código, o CodeEditorBench enfatiza cenários do mundo real e aspectos práticos do desenvolvimento de software. Selecionamos diversos desafios e cenários de codificação de cinco fontes, abrangendo várias linguagens de programação, níveis de complexidade e tarefas de edição. A avaliação de 19 LLMs revela que modelos de código fechado (particularmente o Gemini-Ultra e o GPT-4) superam os modelos de código aberto no CodeEditorBench, destacando diferenças no desempenho dos modelos com base nos tipos de problemas e na sensibilidade aos prompts. O CodeEditorBench visa catalisar avanços nos LLMs ao fornecer uma plataforma robusta para avaliar capacidades de edição de código. Liberaremos todos os prompts e conjuntos de dados para permitir que a comunidade expanda o conjunto de dados e avalie LLMs emergentes. Ao introduzir o CodeEditorBench, contribuímos para o avanço dos LLMs na edição de código e fornecemos um recurso valioso para pesquisadores e profissionais.

English

Large Language Models (LLMs) for code are rapidly evolving, with code editing emerging as a critical capability. We introduce CodeEditorBench, an evaluation framework designed to rigorously assess the performance of LLMs in code editing tasks, including debugging, translating, polishing, and requirement switching. Unlike existing benchmarks focusing solely on code generation, CodeEditorBench emphasizes real-world scenarios and practical aspects of software development. We curate diverse coding challenges and scenarios from five sources, covering various programming languages, complexity levels, and editing tasks. Evaluation of 19 LLMs reveals that closed-source models (particularly Gemini-Ultra and GPT-4), outperform open-source models in CodeEditorBench, highlighting differences in model performance based on problem types and prompt sensitivities. CodeEditorBench aims to catalyze advancements in LLMs by providing a robust platform for assessing code editing capabilities. We will release all prompts and datasets to enable the community to expand the dataset and benchmark emerging LLMs. By introducing CodeEditorBench, we contribute to the advancement of LLMs in code editing and provide a valuable resource for researchers and practitioners.