因果的ルーブリックによるロバストな報酬モデリング

要旨

報酬モデル（RMs）は、人間のフィードバックを通じて大規模言語モデル（LLMs）を整合させるための基盤であるが、報酬ハッキングに悩まされることが多い。これらのモデルは、応答の長さやフォーマットなどの表面的または偽りの属性に固執し、トレーニングデータの相関から学んだこれらの手がかりを、品質の真の因果的要素（例：事実性、関連性）と誤解する傾向がある。これは、標準的なトレーニング目的関数がこれらの要素を切り離すのに苦労し、脆弱なRMsと整合しないポリシーを生み出すためである。我々は、報酬ハッキングを軽減するために明示的な因果モデルに基づいた新しいフレームワークであるCrome（Causally Robust Reward Modeling）を紹介する。Cromeは、トレーニング中に以下の合成ターゲット拡張を採用する：（1）特定の因果的属性に沿って異なるペアである因果的拡張。これにより、各因果的属性に沿った感度を個別に強化する。（2）主に偽りの属性に沿って変化する同点ラベルペアである中立的拡張。これにより、偽りの属性に沿った不変性を強化する。特に、我々の拡張は、偽りの要素に関する知識なしに、因果的ルーブリックに沿った回答介入のみを通じて生成され、これはオラクルLLMに問い合わせることで特定される。実験的に、CromeはRewardBenchにおいて標準的なベースラインを大幅に上回り、平均精度を最大5.4%向上させ、特定のカテゴリーでは最大13.2%および7.2%の向上を達成した。Cromeの堅牢性は、増加するNにわたるBest-of-N推論設定において、RewardBench（チャット、チャットハード、安全性、推論タスクをカバー）、安全性に焦点を当てたWildGuardTest、推論に特化したGSM8kを含む様々なベンチマークで得られた一貫した向上によってさらに証明されている。

English

Reward models (RMs) are fundamental to aligning Large Language Models (LLMs) via human feedback, yet they often suffer from reward hacking. They tend to latch on to superficial or spurious attributes, such as response length or formatting, mistaking these cues learned from correlations in training data for the true causal drivers of quality (e.g., factuality, relevance). This occurs because standard training objectives struggle to disentangle these factors, leading to brittle RMs and misaligned policies. We introduce Crome (Causally Robust Reward Modeling), a novel framework grounded in an explicit causal model designed to mitigate reward hacking. Crome employs the following synthetic targeted augmentations during training: (1) Causal Augmentations, which are pairs that differ along specific causal attributes, to enforce sensitivity along each causal attribute individually, and (2) Neutral Augmentations, which are tie-label pairs varying primarily in spurious attributes, to enforce invariance along spurious attributes. Notably, our augmentations are produced without any knowledge of spurious factors, via answer interventions only along causal rubrics, that are identified by querying an oracle LLM. Empirically, Crome significantly outperforms standard baselines on RewardBench, improving average accuracy by up to 5.4% and achieving gains of up to 13.2% and 7.2% in specific categories. The robustness of Crome is further testified by the consistent gains obtained in a Best-of-N inference setting across increasing N, across various benchmarks, including the popular RewardBench (covering chat, chat-hard, safety, and reasoning tasks), the safety-focused WildGuardTest, and the reasoning-specific GSM8k.

因果的ルーブリックによるロバストな報酬モデリング

Robust Reward Modeling via Causal Rubrics

要旨

Support