온-정책 내재적 지식 경계 강화를 통한 효율적 에이전트 강화 학습

초록

에이전틱 강화학습(Agentic RL)은 외부 도구 사용 능력을 갖춘 LLM 기반 에이전트를 학습시키는 데 효과적임이 입증되었다. 그러나 본 연구에서는 에이전틱 RL 학습이 중복된 도구 호출을 증가시키고, 모델이 도구가 필요한 경우와 파라메트릭 지식만으로 충분한 경우를 구분하지 못하게 하여 모델 고유의 지식 경계선을 흐리게 한다는 점을 확인하였다. 보상 형성에 기반한 기존 해결 방법은 조잡한 수준의 최적화 목표를 생성하여 무차별적인 도구 호출 억제를 조장하는 경향이 있으며, 이는 보상 해킹으로 이어진다. 본 논문에서는 훈련 중 이중 경로(도구 사용 및 미사용) 롤아웃을 통해 모델의 고유한 지식 경계선을 동적으로 탐색하는 정책 기반 방법인 AKBE(Agentic Knowledge Boundary Enhancement)를 제안한다. 지식 경계선은 도구가 필요한지 여부와 필요한 최소 도구 호출 수에 대한 인스턴스별 판단으로 정의된다. AKBE는 경로 간 정확도를 비교하여 궤적을 분류하고, 각 질문에 대해 효율적인 도구 사용 패턴을 안내하는 표적화된 감독 신호를 구성한다. 이러한 신호는 에이전틱 RL 학습 루프에 원활하게 통합된다. 7개의 QA 벤치마크에 대한 실험 결과, AKBE는 표준 에이전틱 RL 대비 작업 정확도를 평균 +1.85 향상시키고 도구 호출을 18% 감소시켰으며, 정확도-효율성 트레이드오프 없이 도구 생산성을 25% 높였다. 추가 분석은 다양한 RL 알고리즘 간의 플러그 앤 플레이 호환성과 각 신호 범주의 메커니즘을 시사한다. 본 연구의 코드는 https://github.com/CuSO4-Chen/AKBE에서 확인할 수 있다.

English

Agentic reinforcement learning (RL) has proven effective for training LLM-based agents with external tool-use capabilities. However, we identify that agentic RL training induces increasing redundant tool calls and blurs the model's intrinsic knowledge boundary, where the model fails to distinguish when tools are needed versus when parametric knowledge suffices. Existing solutions based on reward shaping create coarse-grained optimization targets that tend to incentivize indiscriminate tool-call suppression, leading to reward hacking. In this paper, we propose AKBE (Agentic Knowledge Boundary Enhancement), an on-policy method that dynamically probes the model's intrinsic knowledge boundary through dual-path (with-tool and no-tool) rollouts during training. We define the knowledge boundary as the per-instance determination of whether tools are required and the minimum tool calls necessary. By comparing correctness across paths, AKBE categorizes trajectories and constructs targeted supervisory signals that guide efficient tool-use patterns for each question. These signals are integrated seamlessly into the agentic RL training loop. Experiments on seven QA benchmarks demonstrate that AKBE improves task accuracy by +1.85 on average and reduces tool calls by 18% over standard agentic RL, yielding 25% higher tool productivity without any accuracy-efficiency trade-off. Further analysis suggests its plug-and-play compatibility across different RL algorithms and the mechanism of each signal category. Our code is available at https://github.com/CuSO4-Chen/AKBE.