MutaGReP: Busca de Planos Baseada em Repositório sem Execução para Uso de Código

MutaGReP: Execution-Free Repository-Grounded Plan Search for Code-Use

February 21, 2025

Autores: Zaid Khan, Ali Farhadi, Ranjay Krishna, Luca Weihs, Mohit Bansal, Tanmay Gupta

cs.AI

Resumo

Quando um humano solicita a um LLM que complete uma tarefa de codificação utilizando funcionalidades de um grande repositório de código, como podemos fornecer o contexto do repositório ao LLM? Uma abordagem é adicionar todo o repositório à janela de contexto do LLM. No entanto, a maioria das tarefas envolve apenas uma fração dos símbolos de um repositório, contextos mais longos são prejudiciais às habilidades de raciocínio do LLM, e as janelas de contexto não são ilimitadas. Alternativamente, poderíamos emular a capacidade humana de navegar por um grande repositório, selecionar a funcionalidade correta e formular um plano para resolver a tarefa. Propomos o MutaGReP (Mutation-guided Grounded Repository Plan Search), uma abordagem para buscar planos que decompõem uma solicitação do usuário em etapas de linguagem natural fundamentadas na base de código. O MutaGReP realiza uma busca neural em árvore no espaço de planos, explorando por meio da mutação de planos e utilizando um recuperador de símbolos para fundamentação. No desafiador benchmark LongCodeArena, nossos planos utilizam menos de 5% da janela de contexto de 128K para o GPT-4o, mas rivalizam com o desempenho de codificação do GPT-4o com uma janela de contexto preenchida com o repositório. Os planos produzidos pelo MutaGReP permitem que o Qwen 2.5 Coder 32B e 72B igualem o desempenho do GPT-4o com o contexto completo do repositório e possibilitam avanços nas tarefas mais difíceis do LongCodeArena. Página do projeto: zaidkhan.me/MutaGReP

English

When a human requests an LLM to complete a coding task using functionality from a large code repository, how do we provide context from the repo to the LLM? One approach is to add the entire repo to the LLM's context window. However, most tasks involve only fraction of symbols from a repo, longer contexts are detrimental to the LLM's reasoning abilities, and context windows are not unlimited. Alternatively, we could emulate the human ability to navigate a large repo, pick out the right functionality, and form a plan to solve the task. We propose MutaGReP (Mutation-guided Grounded Repository Plan Search), an approach to search for plans that decompose a user request into natural language steps grounded in the codebase. MutaGReP performs neural tree search in plan space, exploring by mutating plans and using a symbol retriever for grounding. On the challenging LongCodeArena benchmark, our plans use less than 5% of the 128K context window for GPT-4o but rival the coding performance of GPT-4o with a context window filled with the repo. Plans produced by MutaGReP allow Qwen 2.5 Coder 32B and 72B to match the performance of GPT-4o with full repo context and enable progress on the hardest LongCodeArena tasks. Project page: zaidkhan.me/MutaGReP