Agent-G^2: 에이전트 강화 학습을 위한 가우시안 가이던스

초록

힌트 기반 강화 학습은 각 롤아웃 전에 전문가 궤적의 접두부를 유지함으로써 장기 지평 에이전트 작업에서의 보상 희소성을 해결하며, 정책이 성공에 더 가까운 상태에서 탐색할 수 있게 한다. 그 효과는 안내 깊이(guidance depth), 즉 궤적을 얼마나 유지할지에 달려 있다. 기존 방법들은 이 깊이를 결정적 스칼라 값으로 취급한다. 일정 기반 접근법은 모든 샘플에 동일한 값을 공유하여 작업 간 이질성을 무시하며, 샘플별 프로빙은 추가 롤아웃 비용을 감수하면서 각각 별도로 추정한다. 우리는 유용한 안내가 단일 최적점에 집중되지 않고, 정보성 프로파일이 대역 중심 주변에서 대략 가우시안 형태를 띠는 깊이 대역에 걸쳐 존재함을 발견한다. 우리는 Agent-G²를 제안한다. 이는 정책 최적화를 위해 이미 수집된 롤아웃에서 중심과 분산을 온라인으로 추정한 가우시안으로부터 작업별 깊이를 추출하는 가우시안 안내 프레임워크로, 프로브 롤아웃이나 학습된 깊이 예측기가 필요 없다. 중심은 전역 기준선과 클러스터별 난이도를 결합하고, 분산은 클러스터 내 분산을 추적한다. 우리는 ALFWorld와 WebShop에서 Qwen2.5-1.5B/7B-Instruct를 사용하여 Agent-G²를 평가한다. Agent-G²는 ALFWorld에서 가장 강력한 힌트 기반, 힌트 없는, Aux-RL 기준선을 각각 2.3/3.9/7.4포인트 능가하면서도, 샘플별 프로빙의 3분의 1 미만의 롤아웃 비용만을 사용한다.

English

Hint-based reinforcement learning addresses reward sparsity in long-horizon agentic tasks by retaining a prefix of an expert trajectory before each rollout, letting the policy explore from a state closer to success. Its effectiveness hinges on the guidance depth: how much of the trajectory to keep. Existing methods treat this depth as a deterministic scalar. Scheduled approaches share one value across samples and ignore per-task heterogeneity; per-sample probing estimates it separately at the cost of extra rollouts. We find that useful guidance occupies a band of depths whose informativeness profile is approximately Gaussian around the band center, rather than concentrating at a single optimal point. We propose Agent-G^2, a Gaussian guidance framework that draws the depth per task from a Gaussian whose center and spread are estimated online from rollouts already collected for policy optimization, requiring no probe rollouts or learned depth predictor. The center combines a global baseline with per-cluster difficulty, and the spread tracks within-cluster variance. We evaluate Agent-G^2 on ALFWorld and WebShop on Qwen2.5-1.5B / 7B-Instruct. Agent-G^2 outperforms the strongest hint-based, hint-free, and Aux-RL baselines on ALFWorld by 2.3 / 3.9 / 7.4 points at under one-third the rollout cost of per-sample probing.