리포지토리 심층 탐색을 위한 도구 통합 강화 학습

Tool-integrated Reinforcement Learning for Repo Deep Search

August 5, 2025

저자: Zexiong Ma, Chao Peng, Qunhong Zeng, Pengfei Gao, Yanzhen Zou, Bing Xie

cs.AI

초록

소프트웨어 이슈를 해결하기 위해 수정이 필요한 코드 위치를 식별하는 과정인 이슈 로컬라이제이션은 소프트웨어 개발에서 중요하면서도 도전적인 작업입니다. 자연어로 작성된 이슈 설명과 결함이 있는 코드 간의 의미적 차이는 코드 의존성을 통한 복잡한 다중 단계 추론을 필요로 합니다. 기존의 LLM(대형 언어 모델) 기반 에이전트들은 리포지토리 검색 도구를 통합하여 이를 해결하려 시도합니다. 그러나 이는 이슈 로컬라이제이션을 Repo Deep Search라고 부르는 까다로운 작업으로 변모시켜, LLM이 다단계 추론 및 탐색 과정에서 다양한 리포지토리 검색 도구를 효과적으로 활용해야 하는 과제를 만듭니다. 이러한 도전 과제를 해결하기 위해, 우리는 ToolTrain을 제안합니다. ToolTrain은 리젝션 샘플링을 통한 지도 미세 조정과 도구 통합 강화 학습을 결합한 두 단계의 도구 통합 훈련 프레임워크로, LLM의 검색 도구 활용 능력을 향상시켜 이슈 로컬라이제이션 성능을 개선합니다. 실험 결과, ToolTrain으로 훈련된 모델들은 최첨단 성능을 달성했으며, 특히 32B 모델은 함수 수준 로컬라이제이션에서 Claude-3.7을 능가하는 성과를 보였습니다. 또한, 개선된 로컬라이제이션 성능은 더 나은 종단 간 이슈 해결 성능으로 이어지는 것으로 나타났습니다. 이는 이슈 로컬라이제이션을 위한 훈련이 자동화된 소프트웨어 개발을 개선하는 데 있어 실현 가능하고 효과적인 전략임을 입증합니다.

English

Issue localization, the process of identifying code locations that need modification to resolve software issues, is a critical yet challenging task in software development. The semantic gap between natural language issue descriptions and faulty code requires complex multi-hop reasoning through code dependencies. Existing LLM-based agents attempt to address this by integrating repository retrieval tools. However, this transforms issue localization into a demanding task we call Repo Deep Search, which requires the LLM to effectively utilize various repository retrieval tools throughout a multi-step reasoning and navigation process. To tackle this challenge, we present ToolTrain, a two-stage tool-integrated training framework combining rejection-sampled supervised fine-tuning and tool-integrated reinforcement learning to enhance LLMs' ability to use retrieval tools for issue localization. Experimental results show that ToolTrain-trained models achieve state-of-the-art performance, with our 32B model even surpassing Claude-3.7 on function-level localization. The results also show that improved localization performance translates to better end-to-end issue resolution performance. This further demonstrates that training for issue localization is a viable and effective strategy for improving automated software development.