Agent-G^2: エージェント型強化学習のためのガウスガイダンス

要旨

ヒントベース強化学習は、各ロールアウトの前に専門家の軌跡の先頭部分を保持してポリシーが成功に近い状態から探索できるようにすることで、長期的なエージェントタスクにおける報酬のスパース性に対処する。その効果は、軌跡をどれだけ保持するかというガイダンス深度に依存する。既存手法はこの深度を決定的なスカラーとして扱う。スケジュール型アプローチはサンプル間で単一の値を共有し、タスクごとの不均一性を無視する。サンプルごとのプロービングは追加のロールアウトを犠牲にして個別に推定する。我々は、有用なガイダンスは単一の最適点に集中するのではなく、深度の帯域を占め、その情報量プロファイルが帯域の中心の周りでおおよそガウス分布に従うことを見出す。我々はAgent-G^2を提案する。これは、中心と広がりがポリシー最適化のために既に収集されたロールアウトからオンラインで推定されるガウス分布からタスクごとの深度をサンプリングするガウスガイダンスフレームワークであり、プローブロールアウトや学習された深度予測器を必要としない。中心はグローバルなベースラインとクラスタごとの難易度を組み合わせ、広がりはクラスタ内の分散を追跡する。我々は、Qwen2.5-1.5B / 7B-Instructを用いてALFWorldとWebShopでAgent-G^2を評価する。Agent-G^2は、ALFWorldにおいて、最強のヒントベース、ヒントなし、Aux-RLの各ベースラインをそれぞれ2.3、3.9、7.4ポイント上回り、そのロールアウトコストはサンプルごとのプロービングの3分の1未満である。

English

Hint-based reinforcement learning addresses reward sparsity in long-horizon agentic tasks by retaining a prefix of an expert trajectory before each rollout, letting the policy explore from a state closer to success. Its effectiveness hinges on the guidance depth: how much of the trajectory to keep. Existing methods treat this depth as a deterministic scalar. Scheduled approaches share one value across samples and ignore per-task heterogeneity; per-sample probing estimates it separately at the cost of extra rollouts. We find that useful guidance occupies a band of depths whose informativeness profile is approximately Gaussian around the band center, rather than concentrating at a single optimal point. We propose Agent-G^2, a Gaussian guidance framework that draws the depth per task from a Gaussian whose center and spread are estimated online from rollouts already collected for policy optimization, requiring no probe rollouts or learned depth predictor. The center combines a global baseline with per-cluster difficulty, and the spread tracks within-cluster variance. We evaluate Agent-G^2 on ALFWorld and WebShop on Qwen2.5-1.5B / 7B-Instruct. Agent-G^2 outperforms the strongest hint-based, hint-free, and Aux-RL baselines on ALFWorld by 2.3 / 3.9 / 7.4 points at under one-third the rollout cost of per-sample probing.