ルーブリックに基づく強化学習のための判定者としての小規模言語モデル

要旨

ルーブリックベースの強化学習は、厳密な解答やルールベースの検証器を備えたタスクを超えてRLを拡張し、インスタンス固有の基準に対して応答をスコアリングするものである。しかしながら、これにより報酬計算コストが高くなる。すなわち、訓練には反復的なルーブリック判定が必要であり、しばしばプロプライエタリなAPIや7Bパラメータ以上のローカル生成型LLM判定器が用いられる。本研究では、より小規模な言語モデルが効率的かつ信頼性の高いルーブリックベースの判定器として機能できるかどうかを調査する。この問いを測定可能にするため、インスタンス固有の基準と項目別充足ラベルを備えた、2つのポイントワイズ型ルーブリックベース評価データセットであるPointRubricとRaR-Science-Staticを構築する。我々は、小規模モデルから基準レベルの判定を抽出する3つの方法、すなわち生成的判定(Generative verdicts)、Yes/Noログ確率マージン、プローブ判定器(Probe judges)を比較する。両データセットにおいて、Qwen3-1.7Bプローブ判定器はこれらの手法の中で最も強い基準レベル一致度を達成し、生成的判定器とログ確率判定器を上回る。GRPO報酬モデルとして使用した場合、RaR-Scienceのルーブリックスコアにおいてポリシーを0.232から0.643へと訓練し、これは8B生成的判定器ベースラインの0.594と比較される一方、ベースラインでは報酬判定時間が10.7倍必要となる。タスクおよびドメイン転移実験はさらに、プローブ判定器が設定をまたいで基準レベルの報酬構造を保持することを示唆している。

English

Rubric-based reinforcement learning extends RL beyond tasks with exact answers or rule-based verifiers by scoring responses against instance-specific criteria. However, this makes reward computation expensive: training requires repeated rubric judging, often with proprietary APIs or local generative LLM judges with 7B parameters or more. We study whether smaller language models can serve as efficient and reliable rubric-based judges. To make this question measurable, we construct PointRubric and RaR-Science-Static, two pointwise rubric-based evaluation datasets with instance-specific criteria and itemwise satisfaction labels. We compare three ways of extracting criterion-level judgments from small models: Generative verdicts, Yes/No Logprob margins, and Probe judges. Across both datasets, the Qwen3-1.7B Probe judge achieves the strongest criterion-level agreement among these methods, outperforming Generative and Logprob judges. Used as a GRPO reward model, it trains a policy from 0.232 to 0.643 on RaR-Science rubric score, compared with 0.594 for an 8B Generative judge baseline, while the baseline requires 10.7times more reward-judge time. Task and domain transfer experiments further suggest that Probe judges preserve criterion-level reward structure across settings.