DRACO：長期的エージェント訓練のための動的ルーブリックを用いた細粒度の信用割当

要旨

検証可能な報酬からの強化学習は、タスクにプログラムによるチェッカーが存在する場合に有効であるが、長期的なエージェント領域のほとんどにはそのようなチェッカーは存在しない。我々は、真の成功シグナルが得られないoutcome-blind設定に取り組む。多基準ルーブリックは、そのような報酬を供給する一般的な方法である。ルーブリックは軌道ごとに一度だけ採点されるが、単一のスカラー値は数十ステップにわたるシグナルとしては貧弱である。我々は、クレジット最適化のためのルーブリックベースのアドバンテージ分配手法であるDRACOを提案する。DRACOは、トレーニング中にルーブリックを動的に生成してポリシーの進化する能力を追跡し、完了した軌道ごとにそれらのルーブリックを一度採点し、注釈付きルーブリックに対応するステップ群にその判定を再分配することで、GRPOにおいてステップごとに区別されたアドバンテージを生成する。この再分配は閉形式であり、学習される帰属モジュールを一切導入しない。AppWorldでは、DRACOは自身ではいかなる検証器も使用しないにもかかわらず、ベースモデルを15.9ポイント、スパースな真の報酬で学習したGRPOを5.3ポイント上回る。ドメイン外のTau-Benchでは、フロンティア級の判定モデルなしでもベースモデルを5.3ポイント上回り、真の報酬による学習や他のルーブリックベースの学習設定の両方を凌駕する。DRACOのコードはhttps://github.com/IBM/dracoで公開されている。

English

Reinforcement Learning from Verifiable Rewards works well when a task has a programmatic checker, but most long-horizon agent domains have none. We work in the outcome-blind setting, where ground-truth success signals are not available. Multi-criteria rubrics are a popular way to supply such a reward; they are scored once per trajectory, but a single scalar is a poor signal across tens of steps. We propose DRACO: Distributing Rubric-based Advantage for Credit Optimization. It generates rubrics dynamically during training to track the policy's evolving capability, scores those rubrics once per completed trajectory, and redistributes that judgment over the steps responsible for annotated rubrics to produce differentiated per-step advantages in GRPO. The redistribution is closed-form and does not introduce any trained attribution module. On AppWorld, DRACO gains 15.9 points over the base model and 5.3 points over GRPO trained with a sparse ground-truth reward, despite not using any verifiers itself. On out-of-domain Tau-Bench, it gains 5.3 points over the base model even without a frontier judge, beating both ground-truth-reward training and other rubric-based training settings. The code for DRACO is available at https://github.com/IBM/draco.