Gereedschap-geïntegreerd Reinforcement Learning voor Diepgaande Repo-zoekopdrachten

Tool-integrated Reinforcement Learning for Repo Deep Search

August 5, 2025

Auteurs: Zexiong Ma, Chao Peng, Qunhong Zeng, Pengfei Gao, Yanzhen Zou, Bing Xie

cs.AI

Samenvatting

Probleemlokalisatie, het proces van het identificeren van codelocaties die moeten worden aangepast om softwareproblemen op te lossen, is een cruciale maar uitdagende taak in softwareontwikkeling. De semantische kloof tussen natuurlijke taalprobleembeschrijvingen en foutieve code vereist complexe multi-hop redenering door codeafhankelijkheden. Bestaande LLM-gebaseerde agents proberen dit aan te pakken door repository-retrievaltools te integreren. Dit transformeert echter probleemlokalisatie in een veeleisende taak die we Repo Deep Search noemen, waarbij de LLM effectief gebruik moet maken van verschillende repository-retrievaltools gedurende een meerstaps redeneer- en navigatieproces. Om deze uitdaging aan te gaan, presenteren we ToolTrain, een tweefasen trainingsframework met geïntegreerde tools dat rejection-sampled supervised fine-tuning en tool-geïntegreerde reinforcement learning combineert om het vermogen van LLMs om retrievals te gebruiken voor probleemlokalisatie te verbeteren. Experimentele resultaten tonen aan dat met ToolTrain getrainde modellen state-of-the-art prestaties behalen, waarbij ons 32B-model zelfs Claude-3.7 overtreft op functieniveau lokalisatie. De resultaten laten ook zien dat verbeterde lokalisatieprestaties leiden tot betere end-to-end probleemoplossingsprestaties. Dit toont verder aan dat training voor probleemlokalisatie een haalbare en effectieve strategie is voor het verbeteren van geautomatiseerde softwareontwikkeling.

English

Issue localization, the process of identifying code locations that need modification to resolve software issues, is a critical yet challenging task in software development. The semantic gap between natural language issue descriptions and faulty code requires complex multi-hop reasoning through code dependencies. Existing LLM-based agents attempt to address this by integrating repository retrieval tools. However, this transforms issue localization into a demanding task we call Repo Deep Search, which requires the LLM to effectively utilize various repository retrieval tools throughout a multi-step reasoning and navigation process. To tackle this challenge, we present ToolTrain, a two-stage tool-integrated training framework combining rejection-sampled supervised fine-tuning and tool-integrated reinforcement learning to enhance LLMs' ability to use retrieval tools for issue localization. Experimental results show that ToolTrain-trained models achieve state-of-the-art performance, with our 32B model even surpassing Claude-3.7 on function-level localization. The results also show that improved localization performance translates to better end-to-end issue resolution performance. This further demonstrates that training for issue localization is a viable and effective strategy for improving automated software development.