CAFE：自己改善型検索エージェントには共進化的フィードバックが必要である

要旨

結果監視型検索エージェントは、いつどのように証拠を取得するかを学習するが、終端報酬は中間エラーを特定せず、エラーが複合する前に進行中の軌道を方向転換することもない。修正フィードバックを学習された軌道内介入として扱うことは、この二つの役割を結びつける。すなわち、エージェントはいつフィードバックを要求し使用するかを決定しなければならず、一方で批評家は、エージェントの改善に伴って失敗パターンが変化する、結果に交絡されたロールアウトから有用な修正を推論しなければならない。本稿では、共有パラメータモデルが検索エージェント役と批評家役を交互に行うフレームワークであるCAFE（Coupled Agent–Feedback Evolution）を紹介する。CAFEは、ベースエージェント自身の失敗を中心に構築された軌道からフィードバック条件付き回復を初期化し、その後オンライン最適化とオフライン最適化を結合する。オンラインRL中は、比較フィードバック推定がプロンプトレベルの呼び出し・スキップ成功ギャップを用いて要求リターンを形成し、フィードバック対応アドバンテージシェーピングがフィードバック前後のトークンアドバンテージを再重み付けする。オフラインでは、ロールアウト由来の選好最適化が、対応付けられた成功軌道と失敗軌道からフィードバックを学習する。7つのエージェント検索ベンチマークにおいて、CAFEは評価対象となったRLベースの検索エージェントを平均で上回り、6つすべてのドメイン外ベンチマークでその利得を維持し、回答レベルの幻覚を低減する。片側アブレーションは、エージェントのみまたは批評家のみを改善する場合には最終的に性能が頭打ちになる一方、二つの更新を交互に行うと性能が向上し続けることを示している。これらの知見は、自己改善型検索エージェントには、それが導くポリシーと共進化するフィードバックが必要であることを示唆する。

English

Outcome-supervised search agents learn when and how to retrieve evidence, but terminal rewards neither localize intermediate errors nor redirect an ongoing trajectory before those errors compound. Treating corrective feedback as a learned in-trajectory intervention couples the two roles: the agent must decide when to request and use feedback, while the critic must infer useful corrections from outcome-confounded rollouts whose failure patterns shift as the agent improves. We introduce CAFE (Coupled Agent--Feedback Evolution), a framework in which a shared-parameter model alternates between search-agent and critic roles. CAFE initializes feedback-conditioned recovery from trajectories built around the base agent's own failures, then couples online and offline optimization. During online RL, a comparative feedback estimate uses a prompt-level call--skip success gap to shape request returns, while feedback-aware advantage shaping reweights token advantages before and after feedback. Offline, rollout-derived preference optimization learns feedback from matched successful and unsuccessful trajectories. On seven agentic search benchmarks, CAFE outperforms the evaluated RL-based search agents on average, retains its gains across all six out-of-domain benchmarks, and reduces answer-level hallucinations. One-sided ablations show that improving only the agent or only the critic eventually plateaus, whereas alternating the two updates continues to improve performance. These findings suggest that a self-improving search agent needs feedback that co-evolves with the policy it guides.