BAPO: 신뢰할 수 있는 에이전트 탐색을 위한 경계 인식 정책 최적화

초록

RL 기반 에이전트 탐색은 LLM이 동적 계획과 외부 검색을 통해 복잡한 질문을 해결할 수 있게 합니다. 대규모 강화학습으로 최적화된 에이전트 정책을 통해 정확도를 크게 향상시키는 이 접근법에는 신뢰성 측면에서 중요한 결함이 존재합니다. 바로 이러한 에이전트들이 자신의 추론 한계를 인지하지 못하고, 증거가 불충분하거나 추론이 한계에 도달했을 때도 "모름"(IDK)을 거의 인정하지 않는다는 점입니다. 이러한 신뢰성 부재는 그럴듯하지만 신뢰할 수 없는 답변을 초래하여 많은 실제 시나리오에서 상당한 위험을 야기합니다. 이를 위해 우리는 정확성을 저해하지 않으면서 신뢰할 수 있는 한계 인식을 함양하도록 설계된 새로운 RL 프레임워크인 Boundary-Aware Policy Optimization(BAPO)을 제안합니다. BAPO는 두 가지 핵심 구성 요소를 도입합니다: (i) 추론이 한계에 도달했을 때만 IDK 응답을 장려하는 그룹 기반 한계 인식 보상, 그리고 (ii) 초기 탐색 단계에서 이 보상을 전략적으로 중단하여 모델이 IDK를 지름길로 이용하는 것을 방지하는 적응형 보상 조절기입니다. 4가지 벤치마크에 대한 광범위한 실험을 통해 BAPO가 에이전트 탐색의 전반적인 신뢰성을 크게 향상시킴을 입증했습니다.

English

RL-based agentic search enables LLMs to solve complex questions via dynamic planning and external search. While this approach significantly enhances accuracy with agent policies optimized via large-scale reinforcement learning, we identify a critical gap in reliability: these agents fail to recognize their reasoning boundaries and rarely admit ``I DON'T KNOW'' (IDK) even when evidence is insufficient or reasoning reaches its limit. The lack of reliability often leads to plausible but unreliable answers, introducing significant risks in many real-world scenarios. To this end, we propose Boundary-Aware Policy Optimization (BAPO), a novel RL framework designed to cultivate reliable boundary awareness without compromising accuracy. BAPO introduces two key components: (i) a group-based boundary-aware reward that encourages an IDK response only when the reasoning reaches its limit, and (ii) an adaptive reward modulator that strategically suspends this reward during early exploration, preventing the model from exploiting IDK as a shortcut. Extensive experiments on four benchmarks demonstrate that BAPO substantially enhances the overall reliability of agentic search.

BAPO: 신뢰할 수 있는 에이전트 탐색을 위한 경계 인식 정책 최적화

BAPO: Boundary-Aware Policy Optimization for Reliable Agentic Search

초록

Support