ABSeeker: 解答遡及型信用割当による長期的探索エージェントの訓練

要旨

長期的な探索エージェントは、最終回答に到達するために、検索・取得・検証・統合といった複数の逐次的な行動（ステップ）を実行しなければならない。しかし、既存の訓練手法は、教師ありファインチューニング（SFT）と強化学習（RL）の両方において、軌道内のすべてのステップを一様に扱うのが一般的であり、有用な行動と誤った行動や冗長な行動を区別できていない。本稿では、Answer-Backtracked Credit Assignment（ABC）を提案する。これは、疎な軌道レベルの結果を密なステップレベルの監督信号に変換することで、失敗した軌道であっても有用な行動に報酬を与え、誤った行動や冗長な行動を抑制する、きめ細かなクレジット割当フレームワークである。具体的には、場合によっては不明瞭なクエリとそれに対応する正解が与えられたとき、ABCはまずAnswer-Backtracked Clue Recovery（回答逆追跡型手掛かり復元）を実行する。これは正解から遡って問題を解くために必要な中間手掛かりを復元する処理である。次に、Clue-Anchored Step Scoring（手掛かりに基づくステップ評価）を適用し、各探索ステップをこれらの手掛かりに照らして評価することで、疎な二値の結果監督を密なステップレベルの報酬に変換する。これらの報酬に基づき、各ターンの損失を再重み付けするABC-SFTと、ステップレベルのスコアをGRPOの報酬として用いるABC-GRPOを開発する。このフレームワークに基づき、我々はQwen3.5-4BをベースとするABSeekerをわずか8.5k個の例で訓練する。ABSeekerはBrowseCompで37.3%、BrowseComp-ZHで39.1%を達成する。コンテキスト管理を導入すると、スコアはそれぞれ55.3%と52.9%までさらに向上し、同規模（4B）のエージェントを大幅に上回り、より大規模（約30B）のエージェントの性能にも匹敵する。これらの結果は、長期的な探索エージェントの訓練における回答逆追跡型ステップレベル信用割当の有効性を示している。

English

Long-horizon search agents must make multiple sequential actions (steps) to search, retrieve, verify, and integrate evidence to reach a final answer. However, existing methods for training these agents typically treat all steps within a trajectory uniformly during both supervised fine-tuning (SFT) and reinforcement learning (RL), failing to distinguish useful actions from erroneous or redundant ones. In this paper, we propose Answer-Backtracked Credit Assignment (ABC), a fine-grained credit assignment framework for training long-horizon search agents by converting sparse trajectory-level outcomes into dense step-level supervision that rewards useful actions (even in failed trajectories) while suppressing erroneous or redundant actions. Specifically, given a potentially obscure query and its corresponding ground-truth answer, ABC first performs Answer-Backtracked Clue Recovery, which traces back from the answer to recover intermediate clues required to solve the question. It then applies Clue-Anchored Step Scoring to evaluate each search step against these clues, converting sparse binary outcome supervision into dense step-level rewards. Based on these rewards, we develop ABC-SFT, which reweights the loss of each turn, and ABC-GRPO, which uses the step-level scores as rewards in GRPO. Building on this framework, we train ABSeeker based on Qwen3.5-4B with only 8.5k examples. ABSeeker achieves 37.3% on BrowseComp and 39.1% on BrowseComp-ZH. With context management, the scores further improve to 55.3% and 52.9%, respectively, significantly outperforming same-scale (4B) agents and even matching the performance of larger ones (approximately 30B). These results demonstrate the effectiveness of answer-backtracked step-level credit assignment for training long-horizon search agents.