Discrétisation des modèles de récompense

Résumé

Malgré leur utilisation répandue, le rôle des modèles de récompense dans la structuration de l'apprentissage par renforcement est mal compris. Les modèles de récompense offrent une promesse séduisante : ils estiment automatiquement la qualité des réponses en l'absence de vérificateurs ou de juges humains. Contrairement aux « récompenses vérifiables » qui produisent généralement des scores binaires, les modèles de récompense génèrent typiquement des scores continus, leur permettant d'être sensibles aux différences fines entre les réponses. Cependant, nous montrons que cette apparente force constitue une faiblesse sérieuse : de nombreux modèles de récompense populaires sont hypersensibles, attribuant des scores différents à des réponses pourtant équivalentes en qualité. Théoriquement, nous démontrons que des modèles de récompense apparemment parfaits peuvent être fortement hypersensibles ; empiriquement, cette hypersensibilité peut conduire à de mauvaises politiques. En lieu et place des notions existantes de « précision du modèle de récompense », nous proposons d'évaluer les modèles de récompense à l'aide de mesures distinctes de « capacité discriminative » et de « spécificité » (le complément de l'hypersensibilité). Comme solution, nous décrivons un algorithme sans apprentissage qui utilise le dropout de Monte Carlo sur tout modèle de récompense neuronal pour produire des clusters de récompenses discrets. Théoriquement, nous prouvons qu'il existe des discrétisations qui réduisent l'hypersensibilité au prix d'une perte minimale de capacité discriminative ; empiriquement, nous montrons, à la fois dans des cadres contrôlés et naturels de RL, que la discrétisation des récompenses conduit à moins de contournement de la récompense et à de meilleures politiques que l'entraînement sur les récompenses originales.

English

Despite their widespread use, the role of reward models in shaping reinforcement learning is poorly understood. Reward models offer a tempting promise: they automatically estimate response quality in the absence of verifiers or human judges. Unlike "verifiable rewards" which typically produce binary scores, reward models typically produce continuous scores, allowing them to be sensitive to fine-grained differences in responses. However, we show this apparent strength is a serious weakness: many popular reward models are oversensitive, assigning different scores to equally good responses. Theoretically, we show that seemingly perfect reward models can be highly oversensitive; empirically, this oversensitivity can lead to bad policies. In place of existing notions of "reward model accuracy," we propose evaluating reward models using distinct measures of "discriminative ability" and "specificity" (the complement of oversensitivity). As a solution, we describe a training-free algorithm that uses Monte Carlo dropout on any neural reward model to produce discrete reward clusters. Theoretically, we prove there exist discretizations that reduce oversensitivity at minimal expense of discriminative ability; empirically we show, in both controlled and natural RL settings, that discretizing rewards leads to less reward hacking and better policies than training on the original rewards.