MutaGReP: Búsqueda de Planes Basada en Repositorios sin Ejecución para el Uso de Código

MutaGReP: Execution-Free Repository-Grounded Plan Search for Code-Use

February 21, 2025

Autores: Zaid Khan, Ali Farhadi, Ranjay Krishna, Luca Weihs, Mohit Bansal, Tanmay Gupta

cs.AI

Resumen

Cuando un humano solicita a un LLM que complete una tarea de codificación utilizando funcionalidades de un repositorio de código extenso, ¿cómo proporcionamos el contexto del repositorio al LLM? Un enfoque es agregar todo el repositorio a la ventana de contexto del LLM. Sin embargo, la mayoría de las tareas involucran solo una fracción de los símbolos de un repositorio, los contextos más largos perjudican las capacidades de razonamiento del LLM, y las ventanas de contexto no son ilimitadas. Alternativamente, podríamos emular la capacidad humana de navegar por un repositorio grande, seleccionar la funcionalidad correcta y formular un plan para resolver la tarea. Proponemos MutaGReP (Mutation-guided Grounded Repository Plan Search), un enfoque para buscar planes que descompongan una solicitud del usuario en pasos de lenguaje natural fundamentados en la base de código. MutaGReP realiza una búsqueda de árbol neuronal en el espacio de planes, explorando mediante la mutación de planes y utilizando un recuperador de símbolos para la fundamentación. En el desafiante benchmark LongCodeArena, nuestros planes utilizan menos del 5% de la ventana de contexto de 128K para GPT-4o, pero igualan el rendimiento de codificación de GPT-4o con una ventana de contexto llena del repositorio. Los planes generados por MutaGReP permiten que Qwen 2.5 Coder 32B y 72B igualen el rendimiento de GPT-4o con el contexto completo del repositorio y permiten avanzar en las tareas más difíciles de LongCodeArena. Página del proyecto: zaidkhan.me/MutaGReP

English

When a human requests an LLM to complete a coding task using functionality from a large code repository, how do we provide context from the repo to the LLM? One approach is to add the entire repo to the LLM's context window. However, most tasks involve only fraction of symbols from a repo, longer contexts are detrimental to the LLM's reasoning abilities, and context windows are not unlimited. Alternatively, we could emulate the human ability to navigate a large repo, pick out the right functionality, and form a plan to solve the task. We propose MutaGReP (Mutation-guided Grounded Repository Plan Search), an approach to search for plans that decompose a user request into natural language steps grounded in the codebase. MutaGReP performs neural tree search in plan space, exploring by mutating plans and using a symbol retriever for grounding. On the challenging LongCodeArena benchmark, our plans use less than 5% of the 128K context window for GPT-4o but rival the coding performance of GPT-4o with a context window filled with the repo. Plans produced by MutaGReP allow Qwen 2.5 Coder 32B and 72B to match the performance of GPT-4o with full repo context and enable progress on the hardest LongCodeArena tasks. Project page: zaidkhan.me/MutaGReP