LLMをチューターとして：非検証可能な強化学習のためのポリシー認識型プロンプト適応

要旨

検証不可能な指示追従のための強化学習（RL）は、プロンプト固有のルーブリックを報酬信号として用いるLLM判定器にますます依存している。近年の手法では、これらのルーブリックを訓練中の進化する方策に適応させているが、訓練プロンプト自体は固定コーパスから抽出された静的なままである。この静的なアプローチは、プロンプトの難易度と方策の能力との間に重大な不一致を生じさせることが多く、プロンプトがロールアウト間で品質のばらつきを引き出せない場合、判定器は識別可能な報酬信号を回復できなくなる。この不一致に対処するために、我々はLLM-as-a-Tutorを導入する。これはLLMの役割を判定器からチューターへ拡張するフレームワークである。すなわち、単一のモデルが、方策のロールアウトをペア比較して非挑戦的なプロンプトを検出する試験官として、またそれらに原子的制約を追加する生成器として機能する。この追記のみの設計は、方策の能力に合わせて単調に難易度を引き上げ、外部の難易度スケジュールなしで自己調整型の訓練信号を生成する。三つの複雑な指示追従ベンチマークにおいて、我々の手法は、方策を考慮しないベースラインと、ルーブリックを適応させるかプロンプトを書き換える従来の方策適応型手法の両方を一貫して上回り、プロンプト適応が検証不可能なRLにおける方策認識の欠落した軸であることを示唆している。

English

Reinforcement learning (RL) for non-verifiable instruction following increasingly relies on LLM judges with prompt-specific rubrics as reward signals. While recent methods adapt these rubrics to the evolving policy during training, the training prompts themselves remain static, drawn from fixed corpora. This static approach often results in a critical misalignment between prompt difficulty and policy capability, leaving the judge unable to recover a discriminative reward signal when prompts fail to elicit quality variance among rollouts. To address this misalignment, we introduce LLM-as-a-Tutor, a framework that extends the LLM's role from judge to tutor: a single model serves as an examiner that pairwise-compares policy rollouts to detect non-challenging prompts, and as a generator that appends atomic constraints to them. This append-only design monotonically raises difficulty in step with the policy's capability, producing a self-calibrating training signal without external difficulty schedules. On three complex instruction-following benchmarks, our method consistently outperforms both policy-unaware baselines and prior policy-adaptive methods that adapt rubrics or rewrite prompts, suggesting prompt adaptation as a missing axis of policy-awareness in non-verifiable RL.