Apprendimento per Rinforzo Integrato negli Strumenti per la Ricerca Approfondita nei Repository

Tool-integrated Reinforcement Learning for Repo Deep Search

August 5, 2025

Autori: Zexiong Ma, Chao Peng, Qunhong Zeng, Pengfei Gao, Yanzhen Zou, Bing Xie

cs.AI

Abstract

La localizzazione dei problemi, il processo di identificazione delle posizioni del codice che necessitano di modifiche per risolvere i problemi software, è un compito cruciale ma impegnativo nello sviluppo del software. Il divario semantico tra le descrizioni dei problemi in linguaggio naturale e il codice difettoso richiede un ragionamento complesso a più passaggi attraverso le dipendenze del codice. Gli agenti basati su LLM esistenti cercano di affrontare questo problema integrando strumenti di recupero del repository. Tuttavia, ciò trasforma la localizzazione dei problemi in un compito impegnativo che chiamiamo Repo Deep Search, che richiede all'LLM di utilizzare efficacemente vari strumenti di recupero del repository durante un processo di ragionamento e navigazione a più passaggi. Per affrontare questa sfida, presentiamo ToolTrain, un framework di formazione integrato con strumenti in due fasi che combina il fine-tuning supervisionato con campionamento di rifiuto e l'apprendimento per rinforzo integrato con strumenti per migliorare la capacità degli LLM di utilizzare strumenti di recupero per la localizzazione dei problemi. I risultati sperimentali mostrano che i modelli addestrati con ToolTrain raggiungono prestazioni all'avanguardia, con il nostro modello da 32B che supera persino Claude-3.7 nella localizzazione a livello di funzione. I risultati mostrano anche che un miglioramento delle prestazioni di localizzazione si traduce in una migliore risoluzione end-to-end dei problemi. Ciò dimostra ulteriormente che la formazione per la localizzazione dei problemi è una strategia valida ed efficace per migliorare lo sviluppo software automatizzato.

English

Issue localization, the process of identifying code locations that need modification to resolve software issues, is a critical yet challenging task in software development. The semantic gap between natural language issue descriptions and faulty code requires complex multi-hop reasoning through code dependencies. Existing LLM-based agents attempt to address this by integrating repository retrieval tools. However, this transforms issue localization into a demanding task we call Repo Deep Search, which requires the LLM to effectively utilize various repository retrieval tools throughout a multi-step reasoning and navigation process. To tackle this challenge, we present ToolTrain, a two-stage tool-integrated training framework combining rejection-sampled supervised fine-tuning and tool-integrated reinforcement learning to enhance LLMs' ability to use retrieval tools for issue localization. Experimental results show that ToolTrain-trained models achieve state-of-the-art performance, with our 32B model even surpassing Claude-3.7 on function-level localization. The results also show that improved localization performance translates to better end-to-end issue resolution performance. This further demonstrates that training for issue localization is a viable and effective strategy for improving automated software development.