Modello Code Graph (CGM): Un Modello Linguistico di Grande Scala Integrato con Grafi per Compiti di Ingegneria del Software a Livello di Repository

Code Graph Model (CGM): A Graph-Integrated Large Language Model for Repository-Level Software Engineering Tasks

May 22, 2025

Autori: Hongyuan Tao, Ying Zhang, Zhenhao Tang, Hongen Peng, Xukun Zhu, Bingchang Liu, Yingguang Yang, Ziyin Zhang, Zhaogui Xu, Haipeng Zhang, Linchao Zhu, Rui Wang, Hang Yu, Jianguo Li, Peng Di

cs.AI

Abstract

I recenti progressi nei Modelli Linguistici di Grande Dimensione (LLM) hanno mostrato promettenti risultati nella generazione di codice a livello di funzione, ma i compiti di ingegneria del software a livello di repository rimangono impegnativi. Le soluzioni attuali si basano prevalentemente su agenti LLM proprietari, che introducono imprevedibilità e limitano l'accessibilità, sollevando preoccupazioni riguardo alla privacy dei dati e alla personalizzazione del modello. Questo articolo indaga se gli LLM open-source possano affrontare efficacemente i compiti a livello di repository senza richiedere approcci basati su agenti. Dimostriamo che ciò è possibile abilitando gli LLM a comprendere funzioni e file all'interno delle codebase attraverso le loro informazioni semantiche e dipendenze strutturali. A tal fine, introduciamo i Modelli a Grafo di Codice (CGM), che integrano le strutture del grafo di codice del repository nel meccanismo di attenzione dell'LLM e mappano gli attributi dei nodi nello spazio di input dell'LLM utilizzando un adattatore specializzato. Quando combinato con un framework RAG a grafo senza agenti, il nostro approccio raggiunge un tasso di risoluzione del 43,00% sul benchmark SWE-bench Lite utilizzando il modello open-source Qwen2.5-72B. Questa performance si colloca al primo posto tra i modelli open weight, al secondo posto tra i metodi con sistemi open-source e all'ottavo posto in generale, superando il precedente miglior metodo basato su modelli open-source del 12,33%.

English

Recent advances in Large Language Models (LLMs) have shown promise in function-level code generation, yet repository-level software engineering tasks remain challenging. Current solutions predominantly rely on proprietary LLM agents, which introduce unpredictability and limit accessibility, raising concerns about data privacy and model customization. This paper investigates whether open-source LLMs can effectively address repository-level tasks without requiring agent-based approaches. We demonstrate this is possible by enabling LLMs to comprehend functions and files within codebases through their semantic information and structural dependencies. To this end, we introduce Code Graph Models (CGMs), which integrate repository code graph structures into the LLM's attention mechanism and map node attributes to the LLM's input space using a specialized adapter. When combined with an agentless graph RAG framework, our approach achieves a 43.00% resolution rate on the SWE-bench Lite benchmark using the open-source Qwen2.5-72B model. This performance ranks first among open weight models, second among methods with open-source systems, and eighth overall, surpassing the previous best open-source model-based method by 12.33%.