CodeEditorBench: 大規模言語モデルのコード編集能力の評価

CodeEditorBench: Evaluating Code Editing Capability of Large Language Models

April 4, 2024

著者: Jiawei Guo, Ziming Li, Xueling Liu, Kaijing Ma, Tianyu Zheng, Zhouliang Yu, Ding Pan, Yizhi LI, Ruibo Liu, Yue Wang, Shuyue Guo, Xingwei Qu, Xiang Yue, Ge Zhang, Wenhu Chen, Jie Fu

cs.AI

要旨

コード向け大規模言語モデル（LLMs）は急速に進化しており、コード編集が重要な能力として浮上しています。本論文では、コード編集タスク（デバッグ、翻訳、洗練、要件変更など）におけるLLMsの性能を厳密に評価するためのフレームワーク「CodeEditorBench」を紹介します。既存のベンチマークがコード生成に焦点を当てているのに対し、CodeEditorBenchはソフトウェア開発の実世界シナリオと実践的な側面を重視しています。5つのソースから多様なコーディング課題とシナリオを精選し、様々なプログラミング言語、複雑さのレベル、編集タスクを網羅しています。19のLLMsを評価した結果、クローズドソースモデル（特にGemini-UltraとGPT-4）がオープンソースモデルをCodeEditorBenchで上回り、問題タイプやプロンプトの感度に基づくモデル性能の違いが明らかになりました。CodeEditorBenchは、コード編集能力を評価する堅牢なプラットフォームを提供することで、LLMsの進化を促進することを目指しています。コミュニティがデータセットを拡張し、新興のLLMsをベンチマークできるよう、すべてのプロンプトとデータセットを公開します。CodeEditorBenchの導入により、コード編集におけるLLMsの進展に貢献し、研究者や実務者にとって貴重なリソースを提供します。

English

Large Language Models (LLMs) for code are rapidly evolving, with code editing emerging as a critical capability. We introduce CodeEditorBench, an evaluation framework designed to rigorously assess the performance of LLMs in code editing tasks, including debugging, translating, polishing, and requirement switching. Unlike existing benchmarks focusing solely on code generation, CodeEditorBench emphasizes real-world scenarios and practical aspects of software development. We curate diverse coding challenges and scenarios from five sources, covering various programming languages, complexity levels, and editing tasks. Evaluation of 19 LLMs reveals that closed-source models (particularly Gemini-Ultra and GPT-4), outperform open-source models in CodeEditorBench, highlighting differences in model performance based on problem types and prompt sensitivities. CodeEditorBench aims to catalyze advancements in LLMs by providing a robust platform for assessing code editing capabilities. We will release all prompts and datasets to enable the community to expand the dataset and benchmark emerging LLMs. By introducing CodeEditorBench, we contribute to the advancement of LLMs in code editing and provide a valuable resource for researchers and practitioners.