Modèle de Graphe de Code (CGM) : Un modèle de langage à grande échelle intégrant des graphes pour les tâches d'ingénierie logicielle au niveau du dépôt

Code Graph Model (CGM): A Graph-Integrated Large Language Model for Repository-Level Software Engineering Tasks

May 22, 2025

Auteurs: Hongyuan Tao, Ying Zhang, Zhenhao Tang, Hongen Peng, Xukun Zhu, Bingchang Liu, Yingguang Yang, Ziyin Zhang, Zhaogui Xu, Haipeng Zhang, Linchao Zhu, Rui Wang, Hang Yu, Jianguo Li, Peng Di

cs.AI

Résumé

Les récentes avancées dans les modèles de langage de grande taille (LLMs) ont montré des résultats prometteurs dans la génération de code au niveau des fonctions, mais les tâches d'ingénierie logicielle au niveau des dépôts restent difficiles. Les solutions actuelles reposent principalement sur des agents LLM propriétaires, qui introduisent de l'imprévisibilité et limitent l'accessibilité, soulevant des préoccupations concernant la confidentialité des données et la personnalisation des modèles. Cet article explore si les LLMs open source peuvent efficacement traiter les tâches au niveau des dépôts sans nécessiter d'approches basées sur des agents. Nous démontrons que cela est possible en permettant aux LLMs de comprendre les fonctions et les fichiers au sein des bases de code grâce à leurs informations sémantiques et leurs dépendances structurelles. À cette fin, nous introduisons les modèles de graphe de code (CGMs), qui intègrent les structures de graphe de code des dépôts dans le mécanisme d'attention des LLMs et mappent les attributs des nœuds à l'espace d'entrée des LLMs à l'aide d'un adaptateur spécialisé. Combinée à un framework de RAG graphique sans agent, notre approche atteint un taux de résolution de 43,00 % sur le benchmark SWE-bench Lite en utilisant le modèle open source Qwen2.5-72B. Cette performance se classe première parmi les modèles à poids ouverts, deuxième parmi les méthodes utilisant des systèmes open source, et huitième au classement général, surpassant la précédente meilleure méthode basée sur un modèle open source de 12,33 %.

English

Recent advances in Large Language Models (LLMs) have shown promise in function-level code generation, yet repository-level software engineering tasks remain challenging. Current solutions predominantly rely on proprietary LLM agents, which introduce unpredictability and limit accessibility, raising concerns about data privacy and model customization. This paper investigates whether open-source LLMs can effectively address repository-level tasks without requiring agent-based approaches. We demonstrate this is possible by enabling LLMs to comprehend functions and files within codebases through their semantic information and structural dependencies. To this end, we introduce Code Graph Models (CGMs), which integrate repository code graph structures into the LLM's attention mechanism and map node attributes to the LLM's input space using a specialized adapter. When combined with an agentless graph RAG framework, our approach achieves a 43.00% resolution rate on the SWE-bench Lite benchmark using the open-source Qwen2.5-72B model. This performance ranks first among open weight models, second among methods with open-source systems, and eighth overall, surpassing the previous best open-source model-based method by 12.33%.