CL4SE: Ein Benchmark für kontextuelles Lernen für Software Engineering-Aufgaben

CL4SE: A Context Learning Benchmark For Software Engineering Tasks

February 26, 2026

Autoren: Haichuan Hu, Ye Shang, Guoqing Xie, Congqing He, Quanjun Zhang

cs.AI

Zusammenfassung

Kontext-Engineering hat sich als zentrales Paradigma etabliert, um das Potenzial von Large Language Models (LLMs) für Aufgaben der Softwareentwicklung (Software Engineering, SE) zu erschließen und Leistungssteigerungen zur Testzeit ohne Feinabstimmung der Modelle zu ermöglichen. Trotz dieser Erfolge fehlt es in der bestehenden Forschung an einer systematischen Taxonomie SE-spezifischer Kontexttypen und einem dedizierten Benchmark, um die heterogenen Effekte verschiedener Kontexte in zentralen SE-Workflows zu quantifizieren. Um diese Lücke zu schließen, schlagen wir CL4SE (Context Learning for Software Engineering) vor, einen umfassenden Benchmark mit einer feingranularen Taxonomie von vier SE-orientierten Kontexttypen (interpretierbare Beispiele, projektspezifischer Kontext, prozeduraler Entscheidungsfindungskontext sowie positiver und negativer Kontext), die jeweils einer repräsentativen Aufgabe zugeordnet sind (Code-Generierung, Code-Zusammenfassung, Code-Review und Bewertung der Patch-Korrektheit). Wir erstellen hochwertige Datensätze mit über 13.000 Beispielen aus mehr als 30 Open-Source-Projekten und evaluieren fünf verbreitete LLMs anhand von neun Metriken. Umfangreiche Experimente zeigen, dass Context Learning durchschnittlich zu einer Leistungssteigerung von 24,7 % über alle Aufgaben hinweg führt. Konkret steigert prozeduraler Kontext die Leistung beim Code-Review um bis zu 33 % (Qwen3-Max), gemischter positiver-negativer Kontext verbessert die Patch-Bewertung um 30 % (DeepSeek-V3), projektspezifischer Kontext erhöht den BLEU-Wert für Code-Zusammenfassung um 14,78 % (GPT-Oss-120B), und interpretierbare Beispiele steigern PASS@1 für die Code-Generierung um 5,72 % (DeepSeek-V3). CL4SE etabliert den ersten standardisierten Evaluierungsrahmen für SE-Kontextlernen, liefert handlungsorientierte empirische Einblicke in die aufgabenspezifische Kontextgestaltung und stellt einen großvolumigen Datensatz zur Förderung reproduzierbarer Forschung in diesem Bereich bereit.

English

Context engineering has emerged as a pivotal paradigm for unlocking the potential of Large Language Models (LLMs) in Software Engineering (SE) tasks, enabling performance gains at test time without model fine-tuning. Despite its success, existing research lacks a systematic taxonomy of SE-specific context types and a dedicated benchmark to quantify the heterogeneous effects of different contexts across core SE workflows. To address this gap, we propose CL4SE (Context Learning for Software Engineering), a comprehensive benchmark featuring a fine-grained taxonomy of four SE-oriented context types (interpretable examples, project-specific context, procedural decision-making context, and positive & negative context), each mapped to a representative task (code generation, code summarization, code review, and patch correctness assessment). We construct high-quality datasets comprising over 13,000 samples from more than 30 open-source projects and evaluate five mainstream LLMs across nine metrics. Extensive experiments demonstrate that context learning yields an average performance improvement of 24.7% across all tasks. Specifically, procedural context boosts code review performance by up to 33% (Qwen3-Max), mixed positive-negative context improves patch assessment by 30% (DeepSeek-V3), project-specific context increases code summarization BLEU by 14.78% (GPT-Oss-120B), and interpretable examples enhance code generation PASS@1 by 5.72% (DeepSeek-V3). CL4SE establishes the first standardized evaluation framework for SE context learning, provides actionable empirical insights into task-specific context design, and releases a large-scale dataset to facilitate reproducible research in this domain.