CAFE: 자기 개선 검색 에이전트는 공동 진화 피드백을 필요로 한다

초록

결과 감독(outcome-supervised) 검색 에이전트는 언제 그리고 어떻게 증거를 검색할지 학습하지만, 종단 보상(terminal reward)은 중간 단계의 오류를 국소화하지도 못하고 그러한 오류가 누적되기 전에 진행 중인 궤적을 방향 전환시키지도 못한다. 교정 피드백을 학습된 궤적 내 개입(in-trajectory intervention)으로 취급하면 두 역할이 결합된다. 즉, 에이전트는 피드백을 언제 요청하고 사용할지 결정해야 하며, 비평자(critic)는 에이전트가 개선됨에 따라 실패 패턴이 변화하는 결과-교란(outcome-confounded) 롤아웃으로부터 유용한 교정을 추론해야 한다. 본 연구에서는 공유 파라미터 모델이 검색 에이전트와 비평자 역할을 번갈아 수행하는 프레임워크인 CAFE(Coupled Agent--Feedback Evolution)를 소개한다. CAFE는 기본 에이전트의 자체 실패를 중심으로 구축된 궤적에서 피드백 조건화 복구(feedback-conditioned recovery)를 초기화한 후, 온라인과 오프라인 최적화를 결합한다. 온라인 강화학습 중에는 비교 피드백 추정치가 프롬프트 수준의 호출-건너뛰기 성공 격차(call--skip success gap)를 활용하여 요청 보상을 형성하고, 피드백 인지 어드밴티지 셰이핑(feedback-aware advantage shaping)이 피드백 전후의 토큰 어드밴티지를 재가중한다. 오프라인에서는 롤아웃 유래 선호 최적화(rollout-derived preference optimization)가 매칭된 성공 및 실패 궤적으로부터 피드백을 학습한다. 일곱 가지 에이전트 검색 벤치마크에서 CAFE는 평가된 RL 기반 검색 에이전트들을 평균적으로 능가하며, 여섯 가지 아웃오브도메인 벤치마크 모두에서 성능 향상을 유지하고 답변 수준의 환각을 감소시킨다. 단측 절제 실험(one-sided ablation)은 에이전트만 개선하거나 비평자만 개선하는 경우 결국 정체되지만, 두 업데이트를 번갈아 수행하면 성능이 지속적으로 향상됨을 보여준다. 이러한 결과는 자기 개선 검색 에이전트가 자신을 안내하는 정책과 공동 진화하는 피드백을 필요로 함을 시사한다.

English

Outcome-supervised search agents learn when and how to retrieve evidence, but terminal rewards neither localize intermediate errors nor redirect an ongoing trajectory before those errors compound. Treating corrective feedback as a learned in-trajectory intervention couples the two roles: the agent must decide when to request and use feedback, while the critic must infer useful corrections from outcome-confounded rollouts whose failure patterns shift as the agent improves. We introduce CAFE (Coupled Agent--Feedback Evolution), a framework in which a shared-parameter model alternates between search-agent and critic roles. CAFE initializes feedback-conditioned recovery from trajectories built around the base agent's own failures, then couples online and offline optimization. During online RL, a comparative feedback estimate uses a prompt-level call--skip success gap to shape request returns, while feedback-aware advantage shaping reweights token advantages before and after feedback. Offline, rollout-derived preference optimization learns feedback from matched successful and unsuccessful trajectories. On seven agentic search benchmarks, CAFE outperforms the evaluated RL-based search agents on average, retains its gains across all six out-of-domain benchmarks, and reduces answer-level hallucinations. One-sided ablations show that improving only the agent or only the critic eventually plateaus, whereas alternating the two updates continues to improve performance. These findings suggest that a self-improving search agent needs feedback that co-evolves with the policy it guides.