Модель графа кода (CGM): Графо-интегрированная большая языковая модель для задач программной инженерии на уровне репозитория

Code Graph Model (CGM): A Graph-Integrated Large Language Model for Repository-Level Software Engineering Tasks

May 22, 2025

Авторы: Hongyuan Tao, Ying Zhang, Zhenhao Tang, Hongen Peng, Xukun Zhu, Bingchang Liu, Yingguang Yang, Ziyin Zhang, Zhaogui Xu, Haipeng Zhang, Linchao Zhu, Rui Wang, Hang Yu, Jianguo Li, Peng Di

cs.AI

Аннотация

Последние достижения в области больших языковых моделей (LLM) показали перспективность в генерации кода на уровне функций, однако задачи программной инженерии на уровне репозиториев остаются сложными. Современные решения в основном полагаются на проприетарные LLM-агенты, что вносит неопределенность и ограничивает доступность, вызывая опасения относительно конфиденциальности данных и настройки моделей. В данной статье исследуется, могут ли открытые LLM эффективно решать задачи на уровне репозиториев без использования агентных подходов. Мы демонстрируем, что это возможно, позволяя LLM понимать функции и файлы в кодовых базах через их семантическую информацию и структурные зависимости. Для этого мы представляем Code Graph Models (CGM), которые интегрируют структуры графов кода репозиториев в механизм внимания LLM и отображают атрибуты узлов в пространство входных данных LLM с помощью специализированного адаптера. В сочетании с безагентным графовым RAG-фреймворком наш подход достигает показателя разрешения 43,00% на бенчмарке SWE-bench Lite с использованием открытой модели Qwen2.5-72B. Этот результат занимает первое место среди моделей с открытыми весами, второе место среди методов с открытыми системами и восьмое место в общем рейтинге, превосходя предыдущий лучший метод на основе открытых моделей на 12,33%.

English

Recent advances in Large Language Models (LLMs) have shown promise in function-level code generation, yet repository-level software engineering tasks remain challenging. Current solutions predominantly rely on proprietary LLM agents, which introduce unpredictability and limit accessibility, raising concerns about data privacy and model customization. This paper investigates whether open-source LLMs can effectively address repository-level tasks without requiring agent-based approaches. We demonstrate this is possible by enabling LLMs to comprehend functions and files within codebases through their semantic information and structural dependencies. To this end, we introduce Code Graph Models (CGMs), which integrate repository code graph structures into the LLM's attention mechanism and map node attributes to the LLM's input space using a specialized adapter. When combined with an agentless graph RAG framework, our approach achieves a 43.00% resolution rate on the SWE-bench Lite benchmark using the open-source Qwen2.5-72B model. This performance ranks first among open weight models, second among methods with open-source systems, and eighth overall, surpassing the previous best open-source model-based method by 12.33%.