MutaGReP: Uitvoeringsvrije Repository-Gebaseerde Planningszoektocht voor Codegebruik

MutaGReP: Execution-Free Repository-Grounded Plan Search for Code-Use

February 21, 2025

Auteurs: Zaid Khan, Ali Farhadi, Ranjay Krishna, Luca Weihs, Mohit Bansal, Tanmay Gupta

cs.AI

Samenvatting

Wanneer een mens een LLM vraagt om een programmeertaak te voltooien met behulp van functionaliteit uit een grote code-opslagplaats, hoe kunnen we context van de opslagplaats aan de LLM verstrekken? Een benadering is om de hele opslagplaats toe te voegen aan het contextvenster van de LLM. De meeste taken omvatten echter slechts een fractie van de symbolen uit een opslagplaats, langere contexten zijn nadelig voor de redeneervaardigheden van de LLM, en contextvensters zijn niet onbeperkt. Als alternatief zouden we de menselijke mogelijkheid kunnen nabootsen om door een grote opslagplaats te navigeren, de juiste functionaliteit te selecteren en een plan te vormen om de taak op te lossen. We stellen MutaGReP (Mutation-geleide Gefundeerde Opzoekingsplan) voor, een benadering om plannen te zoeken die een gebruikersverzoek opsplitsen in natuurlijke taalstappen die gefundeerd zijn in de codebase. MutaGReP voert neurale boomzoekopdrachten uit in het planningsgebied, verkent door plannen te muteren en gebruikt een symboolzoeker voor de fundering. Op de uitdagende LongCodeArena-benchmark gebruiken onze plannen minder dan 5% van het 128K-contextvenster voor GPT-4o, maar evenaren ze de programmeerprestaties van GPT-4o met een contextvenster gevuld met de opslagplaats. Plannen geproduceerd door MutaGReP stellen Qwen 2.5 Coder 32B en 72B in staat om de prestaties van GPT-4o met volledige opslagplaatscontext te evenaren en vooruitgang te boeken bij de moeilijkste LongCodeArena-taken. Projectpagina: zaidkhan.me/MutaGReP

English

When a human requests an LLM to complete a coding task using functionality from a large code repository, how do we provide context from the repo to the LLM? One approach is to add the entire repo to the LLM's context window. However, most tasks involve only fraction of symbols from a repo, longer contexts are detrimental to the LLM's reasoning abilities, and context windows are not unlimited. Alternatively, we could emulate the human ability to navigate a large repo, pick out the right functionality, and form a plan to solve the task. We propose MutaGReP (Mutation-guided Grounded Repository Plan Search), an approach to search for plans that decompose a user request into natural language steps grounded in the codebase. MutaGReP performs neural tree search in plan space, exploring by mutating plans and using a symbol retriever for grounding. On the challenging LongCodeArena benchmark, our plans use less than 5% of the 128K context window for GPT-4o but rival the coding performance of GPT-4o with a context window filled with the repo. Plans produced by MutaGReP allow Qwen 2.5 Coder 32B and 72B to match the performance of GPT-4o with full repo context and enable progress on the hardest LongCodeArena tasks. Project page: zaidkhan.me/MutaGReP