Modelado Robusto de Recompensas mediante Rúbricas Causales

Resumen

Los modelos de recompensa (RMs) son fundamentales para alinear los Modelos de Lenguaje de Gran Escala (LLMs) mediante retroalimentación humana, pero a menudo sufren de manipulación de recompensas. Tienden a enfocarse en atributos superficiales o espurios, como la longitud o el formato de la respuesta, confundiendo estas señales aprendidas de correlaciones en los datos de entrenamiento con los verdaderos factores causales de calidad (por ejemplo, factualidad, relevancia). Esto ocurre porque los objetivos estándar de entrenamiento tienen dificultades para separar estos factores, lo que lleva a RMs frágiles y políticas desalineadas. Presentamos Crome (Modelado de Recompensas Causalmente Robusto), un marco novedoso basado en un modelo causal explícito diseñado para mitigar la manipulación de recompensas. Crome emplea las siguientes aumentaciones sintéticas dirigidas durante el entrenamiento: (1) Aumentaciones Causales, que son pares que difieren en atributos causales específicos, para reforzar la sensibilidad a cada atributo causal individualmente, y (2) Aumentaciones Neutrales, que son pares con etiquetas de empate que varían principalmente en atributos espurios, para reforzar la invarianza en atributos espurios. Es notable que nuestras aumentaciones se producen sin ningún conocimiento de factores espurios, mediante intervenciones en respuestas solo a lo largo de rúbricas causales, que se identifican consultando un LLM oráculo. Empíricamente, Crome supera significativamente a los baselines estándar en RewardBench, mejorando la precisión promedio hasta en un 5.4% y logrando ganancias de hasta 13.2% y 7.2% en categorías específicas. La robustez de Crome se ve aún más respaldada por las ganancias consistentes obtenidas en un escenario de inferencia Best-of-N a medida que aumenta N, en varios benchmarks, incluyendo el popular RewardBench (que cubre tareas de chat, chat-hard, seguridad y razonamiento), el WildGuardTest centrado en seguridad y el GSM8k específico para razonamiento.

English

Reward models (RMs) are fundamental to aligning Large Language Models (LLMs) via human feedback, yet they often suffer from reward hacking. They tend to latch on to superficial or spurious attributes, such as response length or formatting, mistaking these cues learned from correlations in training data for the true causal drivers of quality (e.g., factuality, relevance). This occurs because standard training objectives struggle to disentangle these factors, leading to brittle RMs and misaligned policies. We introduce Crome (Causally Robust Reward Modeling), a novel framework grounded in an explicit causal model designed to mitigate reward hacking. Crome employs the following synthetic targeted augmentations during training: (1) Causal Augmentations, which are pairs that differ along specific causal attributes, to enforce sensitivity along each causal attribute individually, and (2) Neutral Augmentations, which are tie-label pairs varying primarily in spurious attributes, to enforce invariance along spurious attributes. Notably, our augmentations are produced without any knowledge of spurious factors, via answer interventions only along causal rubrics, that are identified by querying an oracle LLM. Empirically, Crome significantly outperforms standard baselines on RewardBench, improving average accuracy by up to 5.4% and achieving gains of up to 13.2% and 7.2% in specific categories. The robustness of Crome is further testified by the consistent gains obtained in a Best-of-N inference setting across increasing N, across various benchmarks, including the popular RewardBench (covering chat, chat-hard, safety, and reasoning tasks), the safety-focused WildGuardTest, and the reasoning-specific GSM8k.

Modelado Robusto de Recompensas mediante Rúbricas Causales

Robust Reward Modeling via Causal Rubrics

Resumen

Support