CodeEditorBench: Het evalueren van codebewerkingsvaardigheden van grote taalmodellen

CodeEditorBench: Evaluating Code Editing Capability of Large Language Models

April 4, 2024

Auteurs: Jiawei Guo, Ziming Li, Xueling Liu, Kaijing Ma, Tianyu Zheng, Zhouliang Yu, Ding Pan, Yizhi LI, Ruibo Liu, Yue Wang, Shuyue Guo, Xingwei Qu, Xiang Yue, Ge Zhang, Wenhu Chen, Jie Fu

cs.AI

Samenvatting

Large Language Models (LLMs) voor code evolueren snel, waarbij codebewerking een cruciale vaardigheid aan het worden is. Wij introduceren CodeEditorBench, een evaluatieraamwerk dat ontworpen is om de prestaties van LLMs in codebewerkingstaken rigoureus te beoordelen, inclusief debuggen, vertalen, polijsten en het wisselen van vereisten. In tegenstelling tot bestaande benchmarks die zich uitsluitend richten op codegeneratie, benadrukt CodeEditorBench realistische scenario's en praktische aspecten van softwareontwikkeling. Wij hebben diverse programmeeruitdagingen en scenario's samengesteld uit vijf bronnen, die verschillende programmeertalen, complexiteitsniveaus en bewerkingstaken omvatten. Evaluatie van 19 LLMs toont aan dat closed-source modellen (met name Gemini-Ultra en GPT-4) open-source modellen overtreffen in CodeEditorBench, wat verschillen in modelprestaties benadrukt op basis van probleemtypen en promptgevoeligheden. CodeEditorBench heeft als doel om vooruitgang in LLMs te stimuleren door een robuust platform te bieden voor het beoordelen van codebewerkingsvaardigheden. Wij zullen alle prompts en datasets vrijgeven om de gemeenschap in staat te stellen de dataset uit te breiden en opkomende LLMs te benchmarken. Door CodeEditorBench te introduceren, dragen wij bij aan de vooruitgang van LLMs in codebewerking en bieden wij een waardevolle bron voor onderzoekers en praktijkmensen.

English

Large Language Models (LLMs) for code are rapidly evolving, with code editing emerging as a critical capability. We introduce CodeEditorBench, an evaluation framework designed to rigorously assess the performance of LLMs in code editing tasks, including debugging, translating, polishing, and requirement switching. Unlike existing benchmarks focusing solely on code generation, CodeEditorBench emphasizes real-world scenarios and practical aspects of software development. We curate diverse coding challenges and scenarios from five sources, covering various programming languages, complexity levels, and editing tasks. Evaluation of 19 LLMs reveals that closed-source models (particularly Gemini-Ultra and GPT-4), outperform open-source models in CodeEditorBench, highlighting differences in model performance based on problem types and prompt sensitivities. CodeEditorBench aims to catalyze advancements in LLMs by providing a robust platform for assessing code editing capabilities. We will release all prompts and datasets to enable the community to expand the dataset and benchmark emerging LLMs. By introducing CodeEditorBench, we contribute to the advancement of LLMs in code editing and provide a valuable resource for researchers and practitioners.