CL4SE: Бенчмарк контекстного обучения для задач программной инженерии

CL4SE: A Context Learning Benchmark For Software Engineering Tasks

February 26, 2026

Авторы: Haichuan Hu, Ye Shang, Guoqing Xie, Congqing He, Quanjun Zhang

cs.AI

Аннотация

Контекстная инженерия стала ключевой парадигмой для раскрытия потенциала больших языковых моделей (LLM) в задачах программной инженерии (SE), позволяя достигать повышения производительности во время тестирования без тонкой настройки моделей. Несмотря на успехи, существующие исследования не имеют систематической таксономии типов контекста, специфичных для SE, и специализированного эталона для количественной оценки разнородных эффектов различных контекстов в основных рабочих процессах SE. Для устранения этого пробела мы предлагаем CL4SE (Context Learning for Software Engineering) — комплексный эталон, включающий детализированную таксономию четырех типов контекста, ориентированных на SE (интерпретируемые примеры, проект-специфичный контекст, контекст процедурного принятия решений, а также позитивный и негативный контекст), каждый из которых сопоставлен с репрезентативной задачей (генерация кода, суммаризация кода, ревью кода и оценка корректности патчей). Мы создали высококачественные наборы данных, содержащие более 13 000 примеров из более чем 30 проектов с открытым исходным кодом, и оценили пять основных LLM по девяти метрикам. Масштабные эксперименты демонстрируют, что контекстное обучение обеспечивает среднее повышение производительности на 24,7% по всем задачам. В частности, процедурный контекст повышает производительность ревью кода до 33% (Qwen3-Max), смешанный позитивно-негативный контекст улучшает оценку патчей на 30% (DeepSeek-V3), проект-специфичный контекст увеличивает BLEU суммаризации кода на 14,78% (GPT-Oss-120B), а интерпретируемые примеры повышают PASS@1 генерации кода на 5,72% (DeepSeek-V3). CL4SE устанавливает первую стандартизированную систему оценки для контекстного обучения в SE, предоставляет практические эмпирические insights для проектирования контекста под конкретные задачи и публикует масштабируемый набор данных для обеспечения воспроизводимости исследований в данной области.

English

Context engineering has emerged as a pivotal paradigm for unlocking the potential of Large Language Models (LLMs) in Software Engineering (SE) tasks, enabling performance gains at test time without model fine-tuning. Despite its success, existing research lacks a systematic taxonomy of SE-specific context types and a dedicated benchmark to quantify the heterogeneous effects of different contexts across core SE workflows. To address this gap, we propose CL4SE (Context Learning for Software Engineering), a comprehensive benchmark featuring a fine-grained taxonomy of four SE-oriented context types (interpretable examples, project-specific context, procedural decision-making context, and positive & negative context), each mapped to a representative task (code generation, code summarization, code review, and patch correctness assessment). We construct high-quality datasets comprising over 13,000 samples from more than 30 open-source projects and evaluate five mainstream LLMs across nine metrics. Extensive experiments demonstrate that context learning yields an average performance improvement of 24.7% across all tasks. Specifically, procedural context boosts code review performance by up to 33% (Qwen3-Max), mixed positive-negative context improves patch assessment by 30% (DeepSeek-V3), project-specific context increases code summarization BLEU by 14.78% (GPT-Oss-120B), and interpretable examples enhance code generation PASS@1 by 5.72% (DeepSeek-V3). CL4SE establishes the first standardized evaluation framework for SE context learning, provides actionable empirical insights into task-specific context design, and releases a large-scale dataset to facilitate reproducible research in this domain.