Modellizzazione Robusta delle Ricompense tramite Rubriche Causali

Abstract

I modelli di ricompensa (RMs) sono fondamentali per allineare i Large Language Models (LLMs) tramite feedback umano, ma spesso soffrono di reward hacking. Tendono ad aggrapparsi ad attributi superficiali o spurii, come la lunghezza della risposta o la formattazione, scambiando questi segnali appresi da correlazioni nei dati di addestramento per i veri fattori causali della qualità (ad esempio, la veridicità, la rilevanza). Ciò accade perché gli obiettivi di addestramento standard faticano a distinguere questi fattori, portando a RMs fragili e politiche disallineate. Introduciamo Crome (Causally Robust Reward Modeling), un nuovo framework basato su un modello causale esplicito progettato per mitigare il reward hacking. Crome utilizza le seguenti aumentazioni sintetiche mirate durante l'addestramento: (1) Aumentazioni Causali, che sono coppie che differiscono lungo specifici attributi causali, per imporre la sensibilità lungo ciascun attributo causale individualmente, e (2) Aumentazioni Neutrali, che sono coppie con etichetta di pareggio che variano principalmente in attributi spurii, per imporre l'invarianza lungo attributi spurii. È importante notare che le nostre aumentazioni sono prodotte senza alcuna conoscenza dei fattori spurii, tramite interventi sulle risposte solo lungo rubriche causali, che vengono identificate interrogando un LLM oracolo. Empiricamente, Crome supera significativamente i benchmark standard su RewardBench, migliorando l'accuratezza media fino al 5,4% e ottenendo guadagni fino al 13,2% e al 7,2% in categorie specifiche. La robustezza di Crome è ulteriormente testimoniata dai guadagni consistenti ottenuti in un'impostazione di inferenza Best-of-N con N crescente, su vari benchmark, tra cui il popolare RewardBench (che copre compiti di chat, chat-hard, sicurezza e ragionamento), il WildGuardTest focalizzato sulla sicurezza e il GSM8k specifico per il ragionamento.

English

Reward models (RMs) are fundamental to aligning Large Language Models (LLMs) via human feedback, yet they often suffer from reward hacking. They tend to latch on to superficial or spurious attributes, such as response length or formatting, mistaking these cues learned from correlations in training data for the true causal drivers of quality (e.g., factuality, relevance). This occurs because standard training objectives struggle to disentangle these factors, leading to brittle RMs and misaligned policies. We introduce Crome (Causally Robust Reward Modeling), a novel framework grounded in an explicit causal model designed to mitigate reward hacking. Crome employs the following synthetic targeted augmentations during training: (1) Causal Augmentations, which are pairs that differ along specific causal attributes, to enforce sensitivity along each causal attribute individually, and (2) Neutral Augmentations, which are tie-label pairs varying primarily in spurious attributes, to enforce invariance along spurious attributes. Notably, our augmentations are produced without any knowledge of spurious factors, via answer interventions only along causal rubrics, that are identified by querying an oracle LLM. Empirically, Crome significantly outperforms standard baselines on RewardBench, improving average accuracy by up to 5.4% and achieving gains of up to 13.2% and 7.2% in specific categories. The robustness of Crome is further testified by the consistent gains obtained in a Best-of-N inference setting across increasing N, across various benchmarks, including the popular RewardBench (covering chat, chat-hard, safety, and reasoning tasks), the safety-focused WildGuardTest, and the reasoning-specific GSM8k.

Modellizzazione Robusta delle Ricompense tramite Rubriche Causali

Robust Reward Modeling via Causal Rubrics

Abstract

Support