Discretizando modelos de recompensa

Resumen

A pesar de su uso generalizado, el papel de los modelos de recompensa en la configuración del aprendizaje por refuerzo es poco comprendido. Los modelos de recompensa ofrecen una promesa tentadora: estiman automáticamente la calidad de las respuestas en ausencia de verificadores o jueces humanos. A diferencia de las "recompensas verificables", que suelen producir puntuaciones binarias, los modelos de recompensa normalmente generan puntuaciones continuas, lo que les permite ser sensibles a diferencias sutiles entre respuestas. Sin embargo, demostramos que esta aparente fortaleza es una debilidad seria: muchos modelos de recompensa populares son sobresensibles, asignando puntuaciones diferentes a respuestas igualmente buenas. Teóricamente, mostramos que modelos de recompensa aparentemente perfectos pueden ser altamente sobresensibles; empíricamente, esta sobresensibilidad puede conducir a políticas deficientes. En lugar de las nociones existentes de "precisión del modelo de recompensa", proponemos evaluar los modelos de recompensa mediante medidas distintas de "capacidad discriminativa" y "especificidad" (el complemento de la sobresensibilidad). Como solución, describimos un algoritmo sin entrenamiento que utiliza dropout de Monte Carlo en cualquier modelo de recompensa neuronal para producir grupos de recompensa discretos. Teóricamente, demostramos que existen discretizaciones que reducen la sobresensibilidad con un costo mínimo en capacidad discriminativa; empíricamente, mostramos, tanto en entornos de RL controlados como naturales, que discretizar las recompensas conduce a menos manipulación de recompensas y a mejores políticas que entrenar con las recompensas originales.

English

Despite their widespread use, the role of reward models in shaping reinforcement learning is poorly understood. Reward models offer a tempting promise: they automatically estimate response quality in the absence of verifiers or human judges. Unlike "verifiable rewards" which typically produce binary scores, reward models typically produce continuous scores, allowing them to be sensitive to fine-grained differences in responses. However, we show this apparent strength is a serious weakness: many popular reward models are oversensitive, assigning different scores to equally good responses. Theoretically, we show that seemingly perfect reward models can be highly oversensitive; empirically, this oversensitivity can lead to bad policies. In place of existing notions of "reward model accuracy," we propose evaluating reward models using distinct measures of "discriminative ability" and "specificity" (the complement of oversensitivity). As a solution, we describe a training-free algorithm that uses Monte Carlo dropout on any neural reward model to produce discrete reward clusters. Theoretically, we prove there exist discretizations that reduce oversensitivity at minimal expense of discriminative ability; empirically we show, in both controlled and natural RL settings, that discretizing rewards leads to less reward hacking and better policies than training on the original rewards.