Tool-integriertes Reinforcement Learning für die tiefgehende Repository-Suche

Tool-integrated Reinforcement Learning for Repo Deep Search

August 5, 2025

papers.authors: Zexiong Ma, Chao Peng, Qunhong Zeng, Pengfei Gao, Yanzhen Zou, Bing Xie

cs.AI

papers.abstract

Die Lokalisierung von Problemen, also der Prozess der Identifizierung von Code-Stellen, die zur Behebung von Softwareproblemen modifiziert werden müssen, ist eine entscheidende, aber herausfordernde Aufgabe in der Softwareentwicklung. Die semantische Lücke zwischen natürlichen Sprachbeschreibungen von Problemen und fehlerhaftem Code erfordert komplexes Multi-Hop-Schlussfolgern über Code-Abhängigkeiten hinweg. Bestehende LLM-basierte Agenten versuchen dies durch die Integration von Repository-Retrieval-Tools zu bewältigen. Dies verwandelt jedoch die Problem-Lokalisierung in eine anspruchsvolle Aufgabe, die wir als Repo Deep Search bezeichnen und die es dem LLM abverlangt, verschiedene Repository-Retrieval-Tools effektiv in einem mehrstufigen Schlussfolgerungs- und Navigationsprozess zu nutzen. Um diese Herausforderung zu bewältigen, präsentieren wir ToolTrain, ein zweistufiges, tool-integriertes Trainingsframework, das abgelehnte, überwachte Feinabstimmung und tool-integriertes Reinforcement Learning kombiniert, um die Fähigkeit von LLMs zur Nutzung von Retrieval-Tools für die Problem-Lokalisierung zu verbessern. Experimentelle Ergebnisse zeigen, dass mit ToolTrain trainierte Modelle Spitzenleistungen erzielen, wobei unser 32B-Modell sogar Claude-3.7 bei der Lokalisierung auf Funktionsebene übertrifft. Die Ergebnisse zeigen auch, dass eine verbesserte Lokalisierungsleistung zu einer besseren End-to-End-Problemlösungsleistung führt. Dies verdeutlicht weiter, dass das Training für die Problem-Lokalisierung eine praktikable und effektive Strategie zur Verbesserung der automatisierten Softwareentwicklung ist.

English

Issue localization, the process of identifying code locations that need modification to resolve software issues, is a critical yet challenging task in software development. The semantic gap between natural language issue descriptions and faulty code requires complex multi-hop reasoning through code dependencies. Existing LLM-based agents attempt to address this by integrating repository retrieval tools. However, this transforms issue localization into a demanding task we call Repo Deep Search, which requires the LLM to effectively utilize various repository retrieval tools throughout a multi-step reasoning and navigation process. To tackle this challenge, we present ToolTrain, a two-stage tool-integrated training framework combining rejection-sampled supervised fine-tuning and tool-integrated reinforcement learning to enhance LLMs' ability to use retrieval tools for issue localization. Experimental results show that ToolTrain-trained models achieve state-of-the-art performance, with our 32B model even surpassing Claude-3.7 on function-level localization. The results also show that improved localization performance translates to better end-to-end issue resolution performance. This further demonstrates that training for issue localization is a viable and effective strategy for improving automated software development.