LLM-as-a-Coach: 検証不可能なタスクに対する体験学習

要旨

オープンエンドなタスクにおける強化学習(RL)は、LLMのルーブリックに基づく評価をスカラー報酬に圧縮し、豊富なテキストフィードバックを破棄するとともに、異なる品質プロファイルを持つ応答を混同する。我々は経験的学習(EL)を提案する。これはフィードバックモデルを「LLMを判定者として」から「LLMをコーチとして」に転用するものである。コーチは各オン・ポリシー応答に対する評価を転移可能な経験的知識に蒸留し、それが教師モデルを条件付け、ポリシーがオン・ポリシー文脈蒸留を通じて内在化する。スカラー報酬と比較して、この高帯域幅のフィードバックチャネルは密な監視を提供し、高品質な応答間のきめ細かな嗜好を保持する。二つのポリシーファミリーにわたり、ポリシー自身またはプロプライエタリモデルからのフィードバックを用いて、ELは保持された未知のオープンエンドなタスクにおいてルーブリックベースのRLを一貫して上回る。特に、ELは訓練分布を超えた一般化に優れ、報酬ハッキングを緩和する。これらの知見は、経験的知識が検証不可能なタスクにおけるポストトレーニングのための、より豊かで一般化可能な学習信号であることを確立する。

English

Reinforcement learning (RL) on open-ended tasks compresses an LLM's rubric-based evaluation into a scalar reward, discarding rich textual feedback and conflating responses with distinct quality profiles. We propose Experiential Learning (EL), which repurposes the feedback model from an LLM-as-a-Judge into an LLM-as-a-Coach. The coach distills its assessment of each on-policy response into transferable experiential knowledge, which conditions a teacher model and is internalized by the policy through on-policy context distillation. Compared with scalar rewards, this higher-bandwidth feedback channel provides dense supervision and preserves fine-grained preferences among high-quality responses. Across two policy families, with feedback from the policy itself or a proprietary model, EL consistently outperforms rubric-based RL on held-out and unseen open-ended tasks. Notably, EL generalizes better beyond the training distribution, and mitigates reward hacking. These findings establish experiential knowledge as a richer and more generalizable learning signal for post-training on non-verifiable tasks.