Harness-G: 검색 에이전트를 위한 그래프 구조의 하네스

초록

강화 학습(RL) 검색 에이전트는 일반적으로 검색을 자유 형식의 자연어 쿼리 생성으로 모델링하고 최종 답변 보상을 사용하여 다중 턴 상호작용을 최적화한다. 현재 연구들은 주로 더 조밀하거나 더 구조화된 신용 신호로 훈련을 개선하지만, 정책-환경 인터페이스에서 검색이 적절하게 공식화되었는지 거의 검토하지 않는다. 우리는 Search-R1 훈련 중 뚜렷한 검색 에일리어싱(retrieval aliasing)을 관찰한다. 동일한 질문에 대한 롤아웃이 계속해서 서로 다른 쿼리 문자열을 생성하지만, 누적된 증거 집합은 점점 더 겹친다. 우리는 이 현상을 검색 동등성 붕괴(retrieval-equivalence collapse)라고 부른다. 이 체제에서 궤적들은 검색 결정에 대해 효용 동등성에 접근하며, 그룹 내 수익은 효과적인 검색 대비를 거의 갖지 못하게 된다. 이 문제를 해결하기 위해, 우리는 이 인터페이스를 재설계하는 그래프 구조화 검색 프레임워크인 Harness-G를 제안한다. 이 프레임워크는 자유 형식 쿼리 생성을 유한 행동 선택으로 재구성한다. 정책은 증거 문장이나 엔티티를 선택하거나 답변을 선택하며, 환경은 메뉴를 구성하고 검색 상태를 추적하며 각 선택을 검증하고 실행한다. 이 인터페이스는 언어적 에일리어싱을 줄이고 동일 상태의 대안들을 직접 비교 가능하게 만든다. 이 인터페이스를 기반으로, 우리는 구조화된 비근시적 신용(Structured Non-myopic Credit, SNC)을 도입한다. SNC는 고정된 답변 스코어러를 사용하여 선택된 행동을 대안들과 비교하고, 이를 가능하게 한 이전 행동들에 후속 이득을 할당한다. 여섯 개의 QA 벤치마크에서 Harness-G는 평가된 두 모델 규모 모두에서 가장 높은 평균 F1을 달성하며, 가장 강력한 기준선인 Graph-R1을 1.5B에서 10.74포인트, 3B에서 3.98포인트 능가한다.

English

Reinforcement learning (RL) search agents commonly model retrieval as free-form natural-language query generation and optimize multi-turn interactions using final-answer rewards. Current studies mainly improve training with denser or more structured credit signals, but rarely examine whether retrieval is properly formulated at the policy-environment interface. We observe pronounced retrieval aliasing during Search-R1 training: rollouts for the same question continue to generate distinct query strings, yet their accumulated evidence sets increasingly overlap. We call this phenomenon retrieval-equivalence collapse; in this regime, trajectories approach utility equivalence with respect to retrieval decisions, leaving within-group returns with little effective retrieval contrast. To address this problem, we propose Harness-G, a graph-structured retrieval framework that redesigns this interface. It reformulates free-form query generation as finite action selection: the policy selects an evidence sentence or entity, or chooses to answer, while the environment constructs the menu, tracks retrieval state, and validates and executes each choice. This interface reduces linguistic aliasing and makes same-state alternatives directly comparable. Building on this interface, we introduce Structured Non-myopic Credit (SNC), which uses a frozen answer scorer to compare the selected action with its alternatives and assigns downstream gains to the earlier actions that enabled them. Across six QA benchmarks, Harness-G achieves the highest average F1 at both evaluated model scales, outperforming the strongest baseline, Graph-R1, by 10.74 points at 1.5B and 3.98 points at 3B.