ABSeeker: 답변 역추적 신용 할당을 통한 장기 탐색 에이전트 학습

초록

장기 지평 검색 에이전트는 최종 답변에 도달하기 위해 검색, 검색 결과 확인, 증거 검증 및 통합을 수행하는 여러 순차적 행동(단계)을 수행해야 한다. 그러나 이러한 에이전트를 훈련하는 기존 방법은 일반적으로 지도 미세 조정(SFT)과 강화 학습(RL) 모두에서 궤적 내 모든 단계를 균일하게 처리하여 유용한 행동과 오류 또는 중복 행동을 구별하지 못한다. 본 논문에서는 희소한 궤적 수준의 결과를 밀집된 단계 수준의 감독 신호로 변환하여 실패한 궤적에서도 유용한 행동에 보상을 부여하고 오류 또는 중복 행동을 억제하는 세분화된 신용 할당 프레임워크인 답변 역추적 신용 할당(Answer-Backtracked Credit Assignment, ABC)을 제안한다. 구체적으로, 잠재적으로 난해한 질문과 해당 지상 진실 답변이 주어졌을 때, ABC는 먼저 답변 역추적 단서 복구(Answer-Backtracked Clue Recovery)를 수행하여 답변에서 역추적함으로써 문제 해결에 필요한 중간 단서들을 복구한다. 그런 다음 단서 고정 단계 채점(Clue-Anchored Step Scoring)을 적용하여 각 검색 단계를 이러한 단서와 대조하여 평가함으로써 희소한 이진 결과 감독 신호를 밀집된 단계 수준 보상으로 변환한다. 이러한 보상에 기반하여 각 턴의 손실을 재가중하는 ABC-SFT와 단계 수준 점수를 GRPO의 보상으로 사용하는 ABC-GRPO를 개발한다. 이 프레임워크를 기반으로 단 8.5k개의 예제만을 사용하여 Qwen3.5-4B 기반의 ABSeeker를 훈련한다. ABSeeker는 BrowseComp에서 37.3%, BrowseComp-ZH에서 39.1%의 성능을 달성한다. 컨텍스트 관리를 적용하면 점수는 각각 55.3%와 52.9%로 추가 개선되어 동일한 규모(4B)의 에이전트를 크게 능가하고 더 큰 규모(약 30B)의 에이전트 성능에도 필적한다. 이러한 결과는 장기 지평 검색 에이전트 훈련에 있어 답변 역추적 기반 단계 수준 신용 할당의 효과성을 입증한다.

English

Long-horizon search agents must make multiple sequential actions (steps) to search, retrieve, verify, and integrate evidence to reach a final answer. However, existing methods for training these agents typically treat all steps within a trajectory uniformly during both supervised fine-tuning (SFT) and reinforcement learning (RL), failing to distinguish useful actions from erroneous or redundant ones. In this paper, we propose Answer-Backtracked Credit Assignment (ABC), a fine-grained credit assignment framework for training long-horizon search agents by converting sparse trajectory-level outcomes into dense step-level supervision that rewards useful actions (even in failed trajectories) while suppressing erroneous or redundant actions. Specifically, given a potentially obscure query and its corresponding ground-truth answer, ABC first performs Answer-Backtracked Clue Recovery, which traces back from the answer to recover intermediate clues required to solve the question. It then applies Clue-Anchored Step Scoring to evaluate each search step against these clues, converting sparse binary outcome supervision into dense step-level rewards. Based on these rewards, we develop ABC-SFT, which reweights the loss of each turn, and ABC-GRPO, which uses the step-level scores as rewards in GRPO. Building on this framework, we train ABSeeker based on Qwen3.5-4B with only 8.5k examples. ABSeeker achieves 37.3% on BrowseComp and 39.1% on BrowseComp-ZH. With context management, the scores further improve to 55.3% and 52.9%, respectively, significantly outperforming same-scale (4B) agents and even matching the performance of larger ones (approximately 30B). These results demonstrate the effectiveness of answer-backtracked step-level credit assignment for training long-horizon search agents.