Aprendizaje por Refuerzo Integrado en Herramientas para Búsqueda Profunda en Repositorios

Tool-integrated Reinforcement Learning for Repo Deep Search

August 5, 2025

Autores: Zexiong Ma, Chao Peng, Qunhong Zeng, Pengfei Gao, Yanzhen Zou, Bing Xie

cs.AI

Resumen

La localización de problemas, el proceso de identificar ubicaciones en el código que requieren modificaciones para resolver problemas de software, es una tarea crítica pero desafiante en el desarrollo de software. La brecha semántica entre las descripciones de problemas en lenguaje natural y el código defectuoso requiere un razonamiento complejo de múltiples pasos a través de las dependencias del código. Los agentes basados en LLM (Modelos de Lenguaje de Gran Escala) existentes intentan abordar esto integrando herramientas de recuperación de repositorios. Sin embargo, esto transforma la localización de problemas en una tarea exigente que denominamos Búsqueda Profunda en Repositorios, la cual requiere que el LLM utilice eficazmente diversas herramientas de recuperación de repositorios a lo largo de un proceso de razonamiento y navegación de múltiples pasos. Para enfrentar este desafío, presentamos ToolTrain, un marco de entrenamiento en dos etapas que combina el ajuste fino supervisado con muestreo por rechazo y el aprendizaje por refuerzo integrado con herramientas, con el objetivo de mejorar la capacidad de los LLM para utilizar herramientas de recuperación en la localización de problemas. Los resultados experimentales muestran que los modelos entrenados con ToolTrain logran un rendimiento de vanguardia, con nuestro modelo de 32B superando incluso a Claude-3.7 en la localización a nivel de función. Los resultados también muestran que una mejoría en el rendimiento de localización se traduce en un mejor desempeño en la resolución de problemas de extremo a extremo. Esto demuestra además que el entrenamiento para la localización de problemas es una estrategia viable y efectiva para mejorar el desarrollo de software automatizado.

English

Issue localization, the process of identifying code locations that need modification to resolve software issues, is a critical yet challenging task in software development. The semantic gap between natural language issue descriptions and faulty code requires complex multi-hop reasoning through code dependencies. Existing LLM-based agents attempt to address this by integrating repository retrieval tools. However, this transforms issue localization into a demanding task we call Repo Deep Search, which requires the LLM to effectively utilize various repository retrieval tools throughout a multi-step reasoning and navigation process. To tackle this challenge, we present ToolTrain, a two-stage tool-integrated training framework combining rejection-sampled supervised fine-tuning and tool-integrated reinforcement learning to enhance LLMs' ability to use retrieval tools for issue localization. Experimental results show that ToolTrain-trained models achieve state-of-the-art performance, with our 32B model even surpassing Claude-3.7 on function-level localization. The results also show that improved localization performance translates to better end-to-end issue resolution performance. This further demonstrates that training for issue localization is a viable and effective strategy for improving automated software development.