Code Graph Model (CGM): Ein Graph-integriertes großes Sprachmodell für Repository-basierte Softwareentwicklungsaufgaben

Code Graph Model (CGM): A Graph-Integrated Large Language Model for Repository-Level Software Engineering Tasks

May 22, 2025

Autoren: Hongyuan Tao, Ying Zhang, Zhenhao Tang, Hongen Peng, Xukun Zhu, Bingchang Liu, Yingguang Yang, Ziyin Zhang, Zhaogui Xu, Haipeng Zhang, Linchao Zhu, Rui Wang, Hang Yu, Jianguo Li, Peng Di

cs.AI

Zusammenfassung

Jüngste Fortschritte bei Large Language Models (LLMs) haben vielversprechende Ergebnisse in der funktionsbasierten Code-Generierung gezeigt, doch repository-basierte Softwareentwicklungsaufgaben bleiben eine Herausforderung. Aktuelle Lösungen stützen sich überwiegend auf proprietäre LLM-Agenten, die Unvorhersehbarkeit mit sich bringen und die Zugänglichkeit einschränken, was Bedenken hinsichtlich Datenschutz und Modellanpassung aufwirft. Diese Arbeit untersucht, ob Open-Source-LLMs repository-basierte Aufgaben effektiv bewältigen können, ohne auf agentenbasierte Ansätze zurückzugreifen. Wir zeigen, dass dies möglich ist, indem LLMs befähigt werden, Funktionen und Dateien innerhalb von Codebasen durch deren semantische Informationen und strukturelle Abhängigkeiten zu verstehen. Zu diesem Zweck führen wir Code Graph Models (CGMs) ein, die Repository-Code-Graph-Strukturen in den Aufmerksamkeitsmechanismus des LLMs integrieren und Knotenattribute mithilfe eines spezialisierten Adapters in den Eingaberaum des LLMs abbilden. In Kombination mit einem agentenlosen Graph-RAG-Framework erreicht unser Ansatz eine Lösungsrate von 43,00 % auf dem SWE-bench Lite Benchmark unter Verwendung des Open-Source-Modells Qwen2.5-72B. Diese Leistung belegt den ersten Platz unter den Open-Weight-Modellen, den zweiten Platz unter den Methoden mit Open-Source-Systemen und den achten Platz insgesamt, womit der bisher beste Open-Source-Modell-basierte Ansatz um 12,33 % übertroffen wird.

English

Recent advances in Large Language Models (LLMs) have shown promise in function-level code generation, yet repository-level software engineering tasks remain challenging. Current solutions predominantly rely on proprietary LLM agents, which introduce unpredictability and limit accessibility, raising concerns about data privacy and model customization. This paper investigates whether open-source LLMs can effectively address repository-level tasks without requiring agent-based approaches. We demonstrate this is possible by enabling LLMs to comprehend functions and files within codebases through their semantic information and structural dependencies. To this end, we introduce Code Graph Models (CGMs), which integrate repository code graph structures into the LLM's attention mechanism and map node attributes to the LLM's input space using a specialized adapter. When combined with an agentless graph RAG framework, our approach achieves a 43.00% resolution rate on the SWE-bench Lite benchmark using the open-source Qwen2.5-72B model. This performance ranks first among open weight models, second among methods with open-source systems, and eighth overall, surpassing the previous best open-source model-based method by 12.33%.