CL4SE : Un Benchmark d'Apprentissage Contextuel pour les Tâches de Génie Logiciel

CL4SE: A Context Learning Benchmark For Software Engineering Tasks

February 26, 2026

Auteurs: Haichuan Hu, Ye Shang, Guoqing Xie, Congqing He, Quanjun Zhang

cs.AI

Résumé

L'ingénierie contextuelle est devenue un paradigme essentiel pour exploiter le potentiel des grands modèles de langage (LLM) dans les tâches de génie logiciel, permettant des gains de performance lors des tests sans fine-tuning du modèle. Malgré son succès, la recherche existante manque d'une taxonomie systématique des types de contextes spécifiques au génie logiciel et d'un benchmark dédié pour quantifier les effets hétérogènes des différents contextes à travers les flux de travail fondamentaux du génie logiciel. Pour combler cette lacune, nous proposons CL4SE (Context Learning for Software Engineering), un benchmark complet présentant une taxonomie fine de quatre types de contextes orientés génie logiciel (exemples interprétables, contexte spécifique au projet, contexte décisionnel procédural, et contexte positif-négatif mixte), chacun étant associé à une tâche représentative (génération de code, synthèse de code, revue de code et évaluation de la correction des correctifs). Nous construisons des jeux de données de haute qualité comprenant plus de 13 000 échantillons provenant de plus de 30 projets open source et évaluons cinq LLM grand public selon neuf métriques. Des expériences approfondies démontrent que l'apprentissage contextuel procure une amélioration moyenne des performances de 24,7 % sur l'ensemble des tâches. Plus précisément, le contexte procédural améliore les performances de revue de code jusqu'à 33 % (Qwen3-Max), le contexte mixte positif-négatif améliore l'évaluation des correctifs de 30 % (DeepSeek-V3), le contexte spécifique au projet augmente le BLEU de la synthèse de code de 14,78 % (GPT-Oss-120B), et les exemples interprétables améliorent le PASS@1 de la génération de code de 5,72 % (DeepSeek-V3). CL4SE établit le premier cadre d'évaluation standardisé pour l'apprentissage contextuel en génie logiciel, fournit des insights empiriques actionnables pour la conception de contextes spécifiques aux tâches, et publie un jeu de données à grande échelle pour faciliter la recherche reproductible dans ce domaine.

English

Context engineering has emerged as a pivotal paradigm for unlocking the potential of Large Language Models (LLMs) in Software Engineering (SE) tasks, enabling performance gains at test time without model fine-tuning. Despite its success, existing research lacks a systematic taxonomy of SE-specific context types and a dedicated benchmark to quantify the heterogeneous effects of different contexts across core SE workflows. To address this gap, we propose CL4SE (Context Learning for Software Engineering), a comprehensive benchmark featuring a fine-grained taxonomy of four SE-oriented context types (interpretable examples, project-specific context, procedural decision-making context, and positive & negative context), each mapped to a representative task (code generation, code summarization, code review, and patch correctness assessment). We construct high-quality datasets comprising over 13,000 samples from more than 30 open-source projects and evaluate five mainstream LLMs across nine metrics. Extensive experiments demonstrate that context learning yields an average performance improvement of 24.7% across all tasks. Specifically, procedural context boosts code review performance by up to 33% (Qwen3-Max), mixed positive-negative context improves patch assessment by 30% (DeepSeek-V3), project-specific context increases code summarization BLEU by 14.78% (GPT-Oss-120B), and interpretable examples enhance code generation PASS@1 by 5.72% (DeepSeek-V3). CL4SE establishes the first standardized evaluation framework for SE context learning, provides actionable empirical insights into task-specific context design, and releases a large-scale dataset to facilitate reproducible research in this domain.