CodeEditorBench: Evaluierung der Code-Editierfähigkeit großer Sprachmodelle

CodeEditorBench: Evaluating Code Editing Capability of Large Language Models

April 4, 2024

Autoren: Jiawei Guo, Ziming Li, Xueling Liu, Kaijing Ma, Tianyu Zheng, Zhouliang Yu, Ding Pan, Yizhi LI, Ruibo Liu, Yue Wang, Shuyue Guo, Xingwei Qu, Xiang Yue, Ge Zhang, Wenhu Chen, Jie Fu

cs.AI

Zusammenfassung

Große Sprachmodelle (LLMs) für Code entwickeln sich rasant weiter, wobei die Codebearbeitung als entscheidende Fähigkeit hervortritt. Wir stellen CodeEditorBench vor, ein Bewertungsrahmen, der entwickelt wurde, um die Leistung von LLMs bei Codebearbeitungsaufgaben wie Debugging, Übersetzen, Verfeinern und Anforderungswechsel rigoros zu bewerten. Im Gegensatz zu bestehenden Benchmarks, die sich ausschließlich auf die Codegenerierung konzentrieren, betont CodeEditorBench reale Szenarien und praktische Aspekte der Softwareentwicklung. Wir kuratieren vielfältige Codierungs-Herausforderungen und Szenarien aus fünf Quellen, die verschiedene Programmiersprachen, Komplexitätsstufen und Bearbeitungsaufgaben abdecken. Die Evaluation von 19 LLMs zeigt, dass geschlossene Modelle (insbesondere Gemini-Ultra und GPT-4) in CodeEditorBench Open-Source-Modelle übertreffen und damit Unterschiede in der Leistung der Modelle basierend auf Problemarten und Eingabeempfindlichkeiten hervorheben. CodeEditorBench zielt darauf ab, Fortschritte in LLMs zu beschleunigen, indem es eine robuste Plattform zur Bewertung von Codebearbeitungsfähigkeiten bereitstellt. Wir werden alle Eingabeaufforderungen und Datensätze veröffentlichen, um der Gemeinschaft zu ermöglichen, den Datensatz zu erweitern und aufkommende LLMs zu benchmarken. Mit der Einführung von CodeEditorBench tragen wir zur Weiterentwicklung von LLMs in der Codebearbeitung bei und stellen eine wertvolle Ressource für Forscher und Praktiker bereit.

English

Large Language Models (LLMs) for code are rapidly evolving, with code editing emerging as a critical capability. We introduce CodeEditorBench, an evaluation framework designed to rigorously assess the performance of LLMs in code editing tasks, including debugging, translating, polishing, and requirement switching. Unlike existing benchmarks focusing solely on code generation, CodeEditorBench emphasizes real-world scenarios and practical aspects of software development. We curate diverse coding challenges and scenarios from five sources, covering various programming languages, complexity levels, and editing tasks. Evaluation of 19 LLMs reveals that closed-source models (particularly Gemini-Ultra and GPT-4), outperform open-source models in CodeEditorBench, highlighting differences in model performance based on problem types and prompt sensitivities. CodeEditorBench aims to catalyze advancements in LLMs by providing a robust platform for assessing code editing capabilities. We will release all prompts and datasets to enable the community to expand the dataset and benchmark emerging LLMs. By introducing CodeEditorBench, we contribute to the advancement of LLMs in code editing and provide a valuable resource for researchers and practitioners.