CodexGraph: Het verbinden van grote taalmodelen en coderepositories via codegrafiekdatabases

CodexGraph: Bridging Large Language Models and Code Repositories via Code Graph Databases

August 7, 2024

Auteurs: Xiangyan Liu, Bo Lan, Zhiyuan Hu, Yang Liu, Zhicheng Zhang, Wenmeng Zhou, Fei Wang, Michael Shieh

cs.AI

Samenvatting

Grote Taalmodellen (LLMs) blinken uit in op zichzelf staande codetaken zoals HumanEval en MBPP, maar hebben moeite met het verwerken van volledige coderepositories. Deze uitdaging heeft onderzoek gestimuleerd naar het verbeteren van de interactie tussen LLMs en codebases op repositorieschaal. Huidige oplossingen zijn gebaseerd op op gelijkenis gebaseerde retrievals of handmatige tools en API's, elk met aanzienlijke nadelen. Op gelijkenis gebaseerde retrievals hebben vaak een lage recall bij complexe taken, terwijl handmatige tools en API's meestal taakspecifiek zijn en expertkennis vereisen, wat hun generaliseerbaarheid over diverse codetaken en real-world toepassingen vermindert. Om deze beperkingen te mitigeren, introduceren we \framework, een systeem dat LLM-agents integreert met graph database-interfaces die uit coderepositories zijn geëxtraheerd. Door gebruik te maken van de structurele eigenschappen van graph databases en de flexibiliteit van de graph querytaal, stelt \framework de LLM-agent in staat om queries te construeren en uit te voeren, wat precieze, code-structuurbewuste contextretrieval en codenavigatie mogelijk maakt. We evalueren \framework met behulp van drie benchmarks: CrossCodeEval, SWE-bench en EvoCodeBench. Daarnaast ontwikkelen we vijf real-world coderingsapplicaties. Met een uniform graph database-schema toont \framework competitieve prestaties en potentie in zowel academische als real-world omgevingen, wat zijn veelzijdigheid en effectiviteit in software engineering aantoont. Onze applicatiedemo is te vinden op: https://github.com/modelscope/modelscope-agent/tree/master/apps/codexgraph_agent.

English

Large Language Models (LLMs) excel in stand-alone code tasks like HumanEval and MBPP, but struggle with handling entire code repositories. This challenge has prompted research on enhancing LLM-codebase interaction at a repository scale. Current solutions rely on similarity-based retrieval or manual tools and APIs, each with notable drawbacks. Similarity-based retrieval often has low recall in complex tasks, while manual tools and APIs are typically task-specific and require expert knowledge, reducing their generalizability across diverse code tasks and real-world applications. To mitigate these limitations, we introduce \framework, a system that integrates LLM agents with graph database interfaces extracted from code repositories. By leveraging the structural properties of graph databases and the flexibility of the graph query language, \framework enables the LLM agent to construct and execute queries, allowing for precise, code structure-aware context retrieval and code navigation. We assess \framework using three benchmarks: CrossCodeEval, SWE-bench, and EvoCodeBench. Additionally, we develop five real-world coding applications. With a unified graph database schema, \framework demonstrates competitive performance and potential in both academic and real-world environments, showcasing its versatility and efficacy in software engineering. Our application demo: https://github.com/modelscope/modelscope-agent/tree/master/apps/codexgraph_agent.