Modelo de Grafo de Código (CGM): Um Modelo de Linguagem de Grande Escala Integrado a Grafos para Tarefas de Engenharia de Software em Nível de Repositório

Code Graph Model (CGM): A Graph-Integrated Large Language Model for Repository-Level Software Engineering Tasks

May 22, 2025

Autores: Hongyuan Tao, Ying Zhang, Zhenhao Tang, Hongen Peng, Xukun Zhu, Bingchang Liu, Yingguang Yang, Ziyin Zhang, Zhaogui Xu, Haipeng Zhang, Linchao Zhu, Rui Wang, Hang Yu, Jianguo Li, Peng Di

cs.AI

Resumo

Avanços recentes em Modelos de Linguagem de Grande Escala (LLMs) têm mostrado promessas na geração de código em nível de função, mas tarefas de engenharia de software em nível de repositório continuam desafiadoras. As soluções atuais dependem predominantemente de agentes LLMs proprietários, que introduzem imprevisibilidade e limitam a acessibilidade, levantando preocupações sobre privacidade de dados e personalização de modelos. Este artigo investiga se LLMs de código aberto podem efetivamente abordar tarefas em nível de repositório sem exigir abordagens baseadas em agentes. Demonstramos que isso é possível ao permitir que LLMs compreendam funções e arquivos dentro de bases de código por meio de suas informações semânticas e dependências estruturais. Para isso, introduzimos Modelos de Grafos de Código (CGMs), que integram estruturas de grafos de código de repositório no mecanismo de atenção do LLM e mapeiam atributos de nós para o espaço de entrada do LLM usando um adaptador especializado. Quando combinado com um framework de RAG de grafos sem agente, nossa abordagem alcança uma taxa de resolução de 43,00% no benchmark SWE-bench Lite usando o modelo de código aberto Qwen2.5-72B. Esse desempenho ocupa o primeiro lugar entre modelos de peso aberto, o segundo lugar entre métodos com sistemas de código aberto e o oitavo lugar geral, superando o melhor método baseado em modelo de código aberto anterior em 12,33%.

English

Recent advances in Large Language Models (LLMs) have shown promise in function-level code generation, yet repository-level software engineering tasks remain challenging. Current solutions predominantly rely on proprietary LLM agents, which introduce unpredictability and limit accessibility, raising concerns about data privacy and model customization. This paper investigates whether open-source LLMs can effectively address repository-level tasks without requiring agent-based approaches. We demonstrate this is possible by enabling LLMs to comprehend functions and files within codebases through their semantic information and structural dependencies. To this end, we introduce Code Graph Models (CGMs), which integrate repository code graph structures into the LLM's attention mechanism and map node attributes to the LLM's input space using a specialized adapter. When combined with an agentless graph RAG framework, our approach achieves a 43.00% resolution rate on the SWE-bench Lite benchmark using the open-source Qwen2.5-72B model. This performance ranks first among open weight models, second among methods with open-source systems, and eighth overall, surpassing the previous best open-source model-based method by 12.33%.