Code Graph Model (CGM): Een Grafisch Geïntegreerd Taalmodel op Schaal voor Repository-Niveau Software Engineering Taken

Code Graph Model (CGM): A Graph-Integrated Large Language Model for Repository-Level Software Engineering Tasks

May 22, 2025

Auteurs: Hongyuan Tao, Ying Zhang, Zhenhao Tang, Hongen Peng, Xukun Zhu, Bingchang Liu, Yingguang Yang, Ziyin Zhang, Zhaogui Xu, Haipeng Zhang, Linchao Zhu, Rui Wang, Hang Yu, Jianguo Li, Peng Di

cs.AI

Samenvatting

Recente ontwikkelingen in Large Language Models (LLMs) laten veelbelovende resultaten zien op het gebied van functieniveau codegeneratie, maar repositoryniveau software-engineeringtaken blijven uitdagend. Huidige oplossingen zijn voornamelijk afhankelijk van propriëtaire LLM-agents, wat onvoorspelbaarheid introduceert en de toegankelijkheid beperkt, wat zorgen oproept over gegevensprivacy en modelaanpassing. Dit artikel onderzoekt of open-source LLMs effectief repositoryniveau taken kunnen aanpakken zonder gebruik te maken van agent-gebaseerde benaderingen. We tonen aan dat dit mogelijk is door LLMs in staat te stellen functies en bestanden binnen codebases te begrijpen via hun semantische informatie en structurele afhankelijkheden. Hiertoe introduceren we Code Graph Models (CGMs), die repository code-graafstructuren integreren in het aandachtmechanisme van de LLM en knooppuntattributen toewijzen aan de invoerruimte van de LLM met behulp van een gespecialiseerde adapter. In combinatie met een agentloos graph RAG-framework bereikt onze aanpak een oplossingspercentage van 43,00% op de SWE-bench Lite-benchmark met behulp van het open-source Qwen2.5-72B-model. Deze prestatie staat op de eerste plaats onder open weight-modellen, op de tweede plaats onder methoden met open-source systemen, en op de achtste plaats overall, wat de vorige beste open-source modelgebaseerde methode met 12,33% overtreft.

English

Recent advances in Large Language Models (LLMs) have shown promise in function-level code generation, yet repository-level software engineering tasks remain challenging. Current solutions predominantly rely on proprietary LLM agents, which introduce unpredictability and limit accessibility, raising concerns about data privacy and model customization. This paper investigates whether open-source LLMs can effectively address repository-level tasks without requiring agent-based approaches. We demonstrate this is possible by enabling LLMs to comprehend functions and files within codebases through their semantic information and structural dependencies. To this end, we introduce Code Graph Models (CGMs), which integrate repository code graph structures into the LLM's attention mechanism and map node attributes to the LLM's input space using a specialized adapter. When combined with an agentless graph RAG framework, our approach achieves a 43.00% resolution rate on the SWE-bench Lite benchmark using the open-source Qwen2.5-72B model. This performance ranks first among open weight models, second among methods with open-source systems, and eighth overall, surpassing the previous best open-source model-based method by 12.33%.