人間の選好に基づいたCodeLLMsの評価と整合性の調査

Evaluating and Aligning CodeLLMs on Human Preference

December 6, 2024

著者: Jian Yang, Jiaxi Yang, Ke Jin, Yibo Miao, Lei Zhang, Liqun Yang, Zeyu Cui, Yichang Zhang, Binyuan Hui, Junyang Lin

cs.AI

要旨

コード大規模言語モデル（codeLLMs）は、コード生成において大きな進展を遂げています。これまでのコード関連のベンチマークは、さまざまなプログラミング演習とそれに対応するテストケースから成り、コードLLMsの性能と能力を評価するための共通の尺度として使用されてきました。しかしながら、現在のコードLLMsは、正しいコードスニペットを合成することに焦点を当てており、人間の好みとの整合性を無視しています。ここでのクエリは実用的なアプリケーションシナリオからサンプリングされ、モデルが生成する応答は人間の好みを満たすべきです。モデルが生成する応答と人間の好みとのギャップを埋めるために、複雑さと多様性を模倣する厳選されたヒューマンキュレーションベンチマークであるCodeArenaを提案します。このベンチマークは、40のカテゴリと44のプログラミング言語にわたる397の高品質サンプルを、ユーザークエリから慎重に選定しています。さらに、ウェブサイトからの指示をスケーリングしてほぼ20億トークンのSynCode-Instructという多様な合成指示コーパスを提案し、大規模な合成指示の微調整の効果を検証します。SynCode-Instructで完全にトレーニングされたQwen2.5-SynCoderは、オープンソースのコードLLMsの最高水準のパフォーマンスを達成できます。結果は、実行ベースのベンチマークとCodeArenaとのパフォーマンスの違いを示しています。40以上のLLMsにおけるCodeArenaの体系的な実験は、オープンSOTAコードLLMs（例：Qwen2.5-Coder）とプロプライエタリLLMs（例：OpenAI o1）との間に顕著なパフォーマンスの差を明らかにし、人間の好みの整合性の重要性を強調しています。\url{https://codearenaeval.github.io/}

English

Code large language models (codeLLMs) have made significant strides in code generation. Most previous code-related benchmarks, which consist of various programming exercises along with the corresponding test cases, are used as a common measure to evaluate the performance and capabilities of code LLMs. However, the current code LLMs focus on synthesizing the correct code snippet, ignoring the alignment with human preferences, where the query should be sampled from the practical application scenarios and the model-generated responses should satisfy the human preference. To bridge the gap between the model-generated response and human preference, we present a rigorous human-curated benchmark CodeArena to emulate the complexity and diversity of real-world coding tasks, where 397 high-quality samples spanning 40 categories and 44 programming languages, carefully curated from user queries. Further, we propose a diverse synthetic instruction corpus SynCode-Instruct (nearly 20B tokens) by scaling instructions from the website to verify the effectiveness of the large-scale synthetic instruction fine-tuning, where Qwen2.5-SynCoder totally trained on synthetic instruction data can achieve top-tier performance of open-source code LLMs. The results find performance differences between execution-based benchmarks and CodeArena. Our systematic experiments of CodeArena on 40+ LLMs reveal a notable performance gap between open SOTA code LLMs (e.g. Qwen2.5-Coder) and proprietary LLMs (e.g., OpenAI o1), underscoring the importance of the human preference alignment.\url{https://codearenaeval.github.io/ }