CL4SE: ソフトウェア工学タスクのための文脈学習ベンチマーク

要旨

コンテキストエンジニアリングは、ソフトウェア工学（SE）タスクにおける大規模言語モデル（LLM）の可能性を引き出す重要なパラダイムとして登場し、モデルのファインチューニングなしでテスト時の性能向上を可能にしている。その成功にもかかわらず、既存研究ではSEに特化したコンテキスト類型の体系的分類や、主要なSEワークフローにおける異種コンテキストの効果を定量化する専用ベンチマークが不足している。この課題を解決するため、我々はCL4SE（Context Learning for Software Engineering）を提案する。これは4つのSE指向コンテキスト類型（解釈可能な事例、プロジェクト固有コンテキスト、手続き的意思決定コンテキスト、肯定・否定コンテキスト）の詳細な分類体系を備えた総合ベンチマークであり、各類型は代表的なタスク（コード生成、コード要約、コードレビュー、パッチ正否判定）に対応付けられている。30以上のオープンソースプロジェクトから13,000以上のサンプルで構成される高品質データセットを構築し、5つの主流LLMを9つの指標で評価した。大規模実験により、コンテキスト学習が全タスクで平均24.7%の性能向上をもたらすことを実証した。具体的には、手続き的コンテキストがコードレビュー性能を最大33%（Qwen3-Max）向上させ、混合肯定・否定コンテキストがパッチ評価を30%（DeepSeek-V3）改善し、プロジェクト固有コンテキストがコード要約のBLEUスコアを14.78%（GPT-Oss-120B）上昇させ、解釈可能な事例がコード生成のPASS@1を5.72%（DeepSeek-V3）向上させた。CL4SEはSEコンテキスト学習における初の標準化評価フレームワークを確立し、タスク特化型コンテキスト設計に実践的な実証的知見を提供するとともに、大規模データセットを公開し、この分野の再現可能な研究を促進する。

English

Context engineering has emerged as a pivotal paradigm for unlocking the potential of Large Language Models (LLMs) in Software Engineering (SE) tasks, enabling performance gains at test time without model fine-tuning. Despite its success, existing research lacks a systematic taxonomy of SE-specific context types and a dedicated benchmark to quantify the heterogeneous effects of different contexts across core SE workflows. To address this gap, we propose CL4SE (Context Learning for Software Engineering), a comprehensive benchmark featuring a fine-grained taxonomy of four SE-oriented context types (interpretable examples, project-specific context, procedural decision-making context, and positive & negative context), each mapped to a representative task (code generation, code summarization, code review, and patch correctness assessment). We construct high-quality datasets comprising over 13,000 samples from more than 30 open-source projects and evaluate five mainstream LLMs across nine metrics. Extensive experiments demonstrate that context learning yields an average performance improvement of 24.7% across all tasks. Specifically, procedural context boosts code review performance by up to 33% (Qwen3-Max), mixed positive-negative context improves patch assessment by 30% (DeepSeek-V3), project-specific context increases code summarization BLEU by 14.78% (GPT-Oss-120B), and interpretable examples enhance code generation PASS@1 by 5.72% (DeepSeek-V3). CL4SE establishes the first standardized evaluation framework for SE context learning, provides actionable empirical insights into task-specific context design, and releases a large-scale dataset to facilitate reproducible research in this domain.

CL4SE: ソフトウェア工学タスクのための文脈学習ベンチマーク

CL4SE: A Context Learning Benchmark For Software Engineering Tasks

要旨

Support