Apprentissage par renforcement intégré aux outils pour la recherche approfondie de dépôts

Tool-integrated Reinforcement Learning for Repo Deep Search

August 5, 2025

papers.authors: Zexiong Ma, Chao Peng, Qunhong Zeng, Pengfei Gao, Yanzhen Zou, Bing Xie

cs.AI

papers.abstract

La localisation des problèmes, processus consistant à identifier les emplacements de code nécessitant des modifications pour résoudre des problèmes logiciels, est une tâche cruciale mais complexe dans le développement de logiciels. Le fossé sémantique entre les descriptions de problèmes en langage naturel et le code défectueux nécessite un raisonnement multi-étape complexe à travers les dépendances du code. Les agents basés sur des modèles de langage (LLM) existants tentent de résoudre ce problème en intégrant des outils de récupération de référentiels. Cependant, cela transforme la localisation des problèmes en une tâche exigeante que nous appelons Repo Deep Search, qui nécessite que le LLM utilise efficacement divers outils de récupération de référentiels tout au long d'un processus de raisonnement et de navigation en plusieurs étapes. Pour relever ce défi, nous présentons ToolTrain, un cadre de formation en deux étapes intégrant des outils, combinant un réglage supervisé par échantillonnage de rejet et un apprentissage par renforcement intégrant des outils pour améliorer la capacité des LLM à utiliser des outils de récupération pour la localisation des problèmes. Les résultats expérimentaux montrent que les modèles formés avec ToolTrain atteignent des performances de pointe, avec notre modèle de 32B surpassant même Claude-3.7 en localisation au niveau des fonctions. Les résultats montrent également qu'une amélioration des performances de localisation se traduit par de meilleures performances de résolution de problèmes de bout en bout. Cela démontre en outre que la formation pour la localisation des problèmes est une stratégie viable et efficace pour améliorer le développement logiciel automatisé.

English

Issue localization, the process of identifying code locations that need modification to resolve software issues, is a critical yet challenging task in software development. The semantic gap between natural language issue descriptions and faulty code requires complex multi-hop reasoning through code dependencies. Existing LLM-based agents attempt to address this by integrating repository retrieval tools. However, this transforms issue localization into a demanding task we call Repo Deep Search, which requires the LLM to effectively utilize various repository retrieval tools throughout a multi-step reasoning and navigation process. To tackle this challenge, we present ToolTrain, a two-stage tool-integrated training framework combining rejection-sampled supervised fine-tuning and tool-integrated reinforcement learning to enhance LLMs' ability to use retrieval tools for issue localization. Experimental results show that ToolTrain-trained models achieve state-of-the-art performance, with our 32B model even surpassing Claude-3.7 on function-level localization. The results also show that improved localization performance translates to better end-to-end issue resolution performance. This further demonstrates that training for issue localization is a viable and effective strategy for improving automated software development.