Modelo de Grafo de Código (CGM): Un Modelo de Lenguaje de Gran Escala Integrado con Grafos para Tareas de Ingeniería de Software a Nivel de Repositorio

Code Graph Model (CGM): A Graph-Integrated Large Language Model for Repository-Level Software Engineering Tasks

May 22, 2025

Autores: Hongyuan Tao, Ying Zhang, Zhenhao Tang, Hongen Peng, Xukun Zhu, Bingchang Liu, Yingguang Yang, Ziyin Zhang, Zhaogui Xu, Haipeng Zhang, Linchao Zhu, Rui Wang, Hang Yu, Jianguo Li, Peng Di

cs.AI

Resumen

Los recientes avances en los Modelos de Lenguaje de Gran Escala (LLMs) han mostrado potencial en la generación de código a nivel de funciones, pero las tareas de ingeniería de software a nivel de repositorio siguen siendo un desafío. Las soluciones actuales dependen principalmente de agentes LLM propietarios, lo que introduce imprevisibilidad y limita la accesibilidad, generando preocupaciones sobre la privacidad de los datos y la personalización de los modelos. Este artículo investiga si los LLMs de código abierto pueden abordar eficazmente las tareas a nivel de repositorio sin requerir enfoques basados en agentes. Demostramos que esto es posible al permitir que los LLMs comprendan funciones y archivos dentro de las bases de código a través de su información semántica y dependencias estructurales. Para ello, presentamos los Modelos de Grafos de Código (CGMs), que integran las estructuras de grafos de código del repositorio en el mecanismo de atención del LLM y mapean los atributos de los nodos al espacio de entrada del LLM utilizando un adaptador especializado. Cuando se combina con un marco de RAG de grafos sin agentes, nuestro enfoque logra una tasa de resolución del 43.00% en el benchmark SWE-bench Lite utilizando el modelo de código abierto Qwen2.5-72B. Este rendimiento ocupa el primer lugar entre los modelos de pesos abiertos, el segundo entre los métodos con sistemas de código abierto y el octavo en general, superando al mejor método basado en modelos de código abierto anterior en un 12.33%.

English

Recent advances in Large Language Models (LLMs) have shown promise in function-level code generation, yet repository-level software engineering tasks remain challenging. Current solutions predominantly rely on proprietary LLM agents, which introduce unpredictability and limit accessibility, raising concerns about data privacy and model customization. This paper investigates whether open-source LLMs can effectively address repository-level tasks without requiring agent-based approaches. We demonstrate this is possible by enabling LLMs to comprehend functions and files within codebases through their semantic information and structural dependencies. To this end, we introduce Code Graph Models (CGMs), which integrate repository code graph structures into the LLM's attention mechanism and map node attributes to the LLM's input space using a specialized adapter. When combined with an agentless graph RAG framework, our approach achieves a 43.00% resolution rate on the SWE-bench Lite benchmark using the open-source Qwen2.5-72B model. This performance ranks first among open weight models, second among methods with open-source systems, and eighth overall, surpassing the previous best open-source model-based method by 12.33%.