CodeEditorBench: Оценка возможностей редактирования кода крупных языковых моделей

CodeEditorBench: Evaluating Code Editing Capability of Large Language Models

April 4, 2024

Авторы: Jiawei Guo, Ziming Li, Xueling Liu, Kaijing Ma, Tianyu Zheng, Zhouliang Yu, Ding Pan, Yizhi LI, Ruibo Liu, Yue Wang, Shuyue Guo, Xingwei Qu, Xiang Yue, Ge Zhang, Wenhu Chen, Jie Fu

cs.AI

Аннотация

Большие языковые модели (LLM) для кода стремительно развиваются, причем редактирование кода становится ключевой возможностью. Мы представляем CodeEditorBench, фреймворк оценки, разработанный для тщательной оценки производительности LLM в задачах редактирования кода, включая отладку, перевод, доработку и изменение требований. В отличие от существующих бенчмарков, сосредоточенных исключительно на генерации кода, CodeEditorBench акцентирует внимание на реальные сценарии и практические аспекты разработки программного обеспечения. Мы подбираем разнообразные задачи и сценарии кодирования из пяти источников, охватывающие различные языки программирования, уровни сложности и задачи редактирования. Оценка 19 LLM показывает, что модели с закрытым исходным кодом (особенно Gemini-Ultra и GPT-4) превосходят модели с открытым исходным кодом в CodeEditorBench, выявляя различия в производительности моделей на основе типов задач и чувствительности к запросам. CodeEditorBench нацелен на стимулирование прогресса в области LLM, предоставляя надежную платформу для оценки возможностей редактирования кода. Мы выпустим все запросы и наборы данных, чтобы сообщество могло расширить набор данных и провести оценку новых LLM. Представляя CodeEditorBench, мы вносим вклад в развитие LLM в редактировании кода и предоставляем ценный ресурс для исследователей и практиков.

English

Large Language Models (LLMs) for code are rapidly evolving, with code editing emerging as a critical capability. We introduce CodeEditorBench, an evaluation framework designed to rigorously assess the performance of LLMs in code editing tasks, including debugging, translating, polishing, and requirement switching. Unlike existing benchmarks focusing solely on code generation, CodeEditorBench emphasizes real-world scenarios and practical aspects of software development. We curate diverse coding challenges and scenarios from five sources, covering various programming languages, complexity levels, and editing tasks. Evaluation of 19 LLMs reveals that closed-source models (particularly Gemini-Ultra and GPT-4), outperform open-source models in CodeEditorBench, highlighting differences in model performance based on problem types and prompt sensitivities. CodeEditorBench aims to catalyze advancements in LLMs by providing a robust platform for assessing code editing capabilities. We will release all prompts and datasets to enable the community to expand the dataset and benchmark emerging LLMs. By introducing CodeEditorBench, we contribute to the advancement of LLMs in code editing and provide a valuable resource for researchers and practitioners.