Harness-G: 検索エージェントのためのグラフ構造ハーネス

要旨

強化学習（RL）検索エージェントは、一般的に検索を自由形式の自然言語クエリ生成としてモデル化し、最終解答報酬を用いて多ターン相互作用を最適化する。既存研究は主に、より密な、あるいはより構造化されたクレジット信号を用いた訓練改善に焦点を当てているが、検索が方策-環境インターフェースにおいて適切に定式化されているかどうかを検討することはほとんどない。我々は、Search-R1訓練中に顕著な検索エイリアシングを観察する：同一の質問に対するロールアウトは異なるクエリ文字列を生成し続ける一方、蓄積されたエビデンス集合はますます重複する。我々はこの現象を検索等価性崩壊と呼ぶ。この領域では、軌跡は検索決定に関して効用等価性に近づき、グループ内リターンは有効な検索コントラストをほとんど持たなくなる。この問題に対処するため、我々はこのインターフェースを再設計するグラフ構造化検索フレームワークであるHarness-Gを提案する。本フレームワークは自由形式クエリ生成を有限行動選択として再定式化する：方策はエビデンス文またはエンティティを選択するか、解答を選択する。一方、環境はメニューを構築し、検索状態を追跡し、各選択を検証・実行する。このインターフェースは言語的エイリアシングを低減し、同一状態における代替案を直接比較可能にする。このインターフェースに基づき、我々は構造化非近視的クレジット（SNC）を導入する。これは凍結解答スコアラを用いて選択された行動をその代替案と比較し、下流の利得をそれを可能にした初期の行動に割り当てる。6つのQAベンチマークにおいて、Harness-Gは評価された両方のモデル規模で最高の平均F1値を達成し、最強のベースラインであるGraph-R1を1.5Bで10.74ポイント、3Bで3.98ポイント上回る。

English

Reinforcement learning (RL) search agents commonly model retrieval as free-form natural-language query generation and optimize multi-turn interactions using final-answer rewards. Current studies mainly improve training with denser or more structured credit signals, but rarely examine whether retrieval is properly formulated at the policy-environment interface. We observe pronounced retrieval aliasing during Search-R1 training: rollouts for the same question continue to generate distinct query strings, yet their accumulated evidence sets increasingly overlap. We call this phenomenon retrieval-equivalence collapse; in this regime, trajectories approach utility equivalence with respect to retrieval decisions, leaving within-group returns with little effective retrieval contrast. To address this problem, we propose Harness-G, a graph-structured retrieval framework that redesigns this interface. It reformulates free-form query generation as finite action selection: the policy selects an evidence sentence or entity, or chooses to answer, while the environment constructs the menu, tracks retrieval state, and validates and executes each choice. This interface reduces linguistic aliasing and makes same-state alternatives directly comparable. Building on this interface, we introduce Structured Non-myopic Credit (SNC), which uses a frozen answer scorer to compare the selected action with its alternatives and assigns downstream gains to the earlier actions that enabled them. Across six QA benchmarks, Harness-G achieves the highest average F1 at both evaluated model scales, outperforming the strongest baseline, Graph-R1, by 10.74 points at 1.5B and 3.98 points at 3B.