Aprendizado por Reforço Integrado a Ferramentas para Busca Profunda em Repositórios

Tool-integrated Reinforcement Learning for Repo Deep Search

August 5, 2025

Autores: Zexiong Ma, Chao Peng, Qunhong Zeng, Pengfei Gao, Yanzhen Zou, Bing Xie

cs.AI

Resumo

A localização de problemas, o processo de identificar locais no código que precisam de modificação para resolver problemas de software, é uma tarefa crítica, porém desafiadora, no desenvolvimento de software. A lacuna semântica entre descrições de problemas em linguagem natural e o código defeituoso exige raciocínio complexo e multi-etapas através das dependências do código. Agentes baseados em LLMs (Large Language Models) existentes tentam abordar isso integrando ferramentas de recuperação de repositórios. No entanto, isso transforma a localização de problemas em uma tarefa exigente que chamamos de Busca Profunda em Repositório (Repo Deep Search), que requer que o LLM utilize efetivamente várias ferramentas de recuperação de repositórios ao longo de um processo de raciocínio e navegação em múltiplas etapas. Para enfrentar esse desafio, apresentamos o ToolTrain, uma estrutura de treinamento em duas etapas que integra ferramentas, combinando ajuste fino supervisionado com rejeição de amostras e aprendizado por reforço com integração de ferramentas, para aprimorar a capacidade dos LLMs de usar ferramentas de recuperação para localização de problemas. Resultados experimentais mostram que modelos treinados com ToolTrain alcançam desempenho de ponta, com nosso modelo de 32B superando até mesmo o Claude-3.7 na localização em nível de função. Os resultados também mostram que a melhoria no desempenho de localização se traduz em um melhor desempenho na resolução de problemas de ponta a ponta. Isso demonstra ainda que o treinamento para localização de problemas é uma estratégia viável e eficaz para melhorar o desenvolvimento automatizado de software.

English

Issue localization, the process of identifying code locations that need modification to resolve software issues, is a critical yet challenging task in software development. The semantic gap between natural language issue descriptions and faulty code requires complex multi-hop reasoning through code dependencies. Existing LLM-based agents attempt to address this by integrating repository retrieval tools. However, this transforms issue localization into a demanding task we call Repo Deep Search, which requires the LLM to effectively utilize various repository retrieval tools throughout a multi-step reasoning and navigation process. To tackle this challenge, we present ToolTrain, a two-stage tool-integrated training framework combining rejection-sampled supervised fine-tuning and tool-integrated reinforcement learning to enhance LLMs' ability to use retrieval tools for issue localization. Experimental results show that ToolTrain-trained models achieve state-of-the-art performance, with our 32B model even surpassing Claude-3.7 on function-level localization. The results also show that improved localization performance translates to better end-to-end issue resolution performance. This further demonstrates that training for issue localization is a viable and effective strategy for improving automated software development.