CL4SE: Un Benchmark di Apprendimento Contestuale per le Attività di Ingegneria del Software

CL4SE: A Context Learning Benchmark For Software Engineering Tasks

February 26, 2026

Autori: Haichuan Hu, Ye Shang, Guoqing Xie, Congqing He, Quanjun Zhang

cs.AI

Abstract

L'ingegneria del contesto è emersa come paradigma cruciale per sbloccare il potenziale dei Large Language Model (LLM) nelle attività di Ingegneria del Software (SE), consentendo miglioramenti delle prestazioni al momento del test senza fine-tuning del modello. Nonostante il suo successo, la ricerca esistente manca di una tassonomia sistematica dei tipi di contesto specifici per il SE e di un benchmark dedicato per quantificare gli effetti eterogenei di diversi contesti attraverso i flussi di lavoro fondamentali del SE. Per colmare questa lacuna, proponiamo CL4SE (Context Learning for Software Engineering), un benchmark completo che presenta una tassonomia granulare di quattro tipi di contesto orientati al SE (esempi interpretabili, contesto specifico del progetto, contesto procedurale per il decision-making, e contesto positivo e negativo), ciascuno mappato su un'attività rappresentativa (generazione di codice, summarization del codice, code review e valutazione della correttezza delle patch). Costruiamo dataset di alta qualità comprendenti oltre 13.000 campioni provenienti da più di 30 progetti open-source e valutiamo cinque LLM mainstream su nove metriche. Esperimenti estensivi dimostrano che l'apprendimento contestuale produce un miglioramento medio delle prestazioni del 24,7% su tutte le attività. Nello specifico, il contesto procedurale aumenta le prestazioni della code review fino al 33% (Qwen3-Max), il contesto misto positivo-negativo migliora la valutazione delle patch del 30% (DeepSeek-V3), il contesto specifico del progetto aumenta il BLEU della summarization del codice del 14,78% (GPT-Oss-120B) e gli esempi interpretabili migliorano il PASS@1 della generazione di codice del 5,72% (DeepSeek-V3). CL4SE stabilisce il primo framework di valutazione standardizzato per l'apprendimento contestuale nel SE, fornisce insight empirici azionabili per la progettazione di contesti specifici per attività e rilascia un dataset su larga scala per facilitare la ricerca riproducibile in questo dominio.

English

Context engineering has emerged as a pivotal paradigm for unlocking the potential of Large Language Models (LLMs) in Software Engineering (SE) tasks, enabling performance gains at test time without model fine-tuning. Despite its success, existing research lacks a systematic taxonomy of SE-specific context types and a dedicated benchmark to quantify the heterogeneous effects of different contexts across core SE workflows. To address this gap, we propose CL4SE (Context Learning for Software Engineering), a comprehensive benchmark featuring a fine-grained taxonomy of four SE-oriented context types (interpretable examples, project-specific context, procedural decision-making context, and positive & negative context), each mapped to a representative task (code generation, code summarization, code review, and patch correctness assessment). We construct high-quality datasets comprising over 13,000 samples from more than 30 open-source projects and evaluate five mainstream LLMs across nine metrics. Extensive experiments demonstrate that context learning yields an average performance improvement of 24.7% across all tasks. Specifically, procedural context boosts code review performance by up to 33% (Qwen3-Max), mixed positive-negative context improves patch assessment by 30% (DeepSeek-V3), project-specific context increases code summarization BLEU by 14.78% (GPT-Oss-120B), and interpretable examples enhance code generation PASS@1 by 5.72% (DeepSeek-V3). CL4SE establishes the first standardized evaluation framework for SE context learning, provides actionable empirical insights into task-specific context design, and releases a large-scale dataset to facilitate reproducible research in this domain.