Discretização de Modelos de Recompensa

Resumo

Apesar do seu uso generalizado, o papel dos modelos de recompensa na modelagem da aprendizagem por reforço é pouco compreendido. Os modelos de recompensa oferecem uma promessa tentadora: eles estimam automaticamente a qualidade das respostas na ausência de verificadores ou avaliadores humanos. Diferentemente das "recompensas verificáveis", que tipicamente produzem pontuações binárias, os modelos de recompensa geralmente produzem pontuações contínuas, permitindo que sejam sensíveis a diferenças sutis nas respostas. No entanto, mostramos que essa aparente vantagem é uma fraqueza séria: muitos modelos de recompensa populares são excessivamente sensíveis, atribuindo pontuações diferentes a respostas igualmente boas. Teoricamente, mostramos que modelos de recompensa aparentemente perfeitos podem ser altamente excessivamente sensíveis; empiricamente, essa excessiva sensibilidade pode levar a políticas ruins. Em lugar das noções existentes de "precisão do modelo de recompensa", propomos avaliar modelos de recompensa usando medidas distintas de "capacidade discriminativa" e "especificidade" (o complemento da excessiva sensibilidade). Como solução, descrevemos um algoritmo livre de treinamento que usa dropout de Monte Carlo em qualquer modelo de recompensa neural para produzir agrupamentos discretos de recompensa. Teoricamente, provamos que existem discretizações que reduzem a excessiva sensibilidade com mínimo custo na capacidade discriminativa; empiricamente, mostramos, tanto em ambientes de RL controlados quanto naturais, que discretizar as recompensas leva a menos hacking de recompensa e a políticas melhores do que treinar com as recompensas originais.

English

Despite their widespread use, the role of reward models in shaping reinforcement learning is poorly understood. Reward models offer a tempting promise: they automatically estimate response quality in the absence of verifiers or human judges. Unlike "verifiable rewards" which typically produce binary scores, reward models typically produce continuous scores, allowing them to be sensitive to fine-grained differences in responses. However, we show this apparent strength is a serious weakness: many popular reward models are oversensitive, assigning different scores to equally good responses. Theoretically, we show that seemingly perfect reward models can be highly oversensitive; empirically, this oversensitivity can lead to bad policies. In place of existing notions of "reward model accuracy," we propose evaluating reward models using distinct measures of "discriminative ability" and "specificity" (the complement of oversensitivity). As a solution, we describe a training-free algorithm that uses Monte Carlo dropout on any neural reward model to produce discrete reward clusters. Theoretically, we prove there exist discretizations that reduce oversensitivity at minimal expense of discriminative ability; empirically we show, in both controlled and natural RL settings, that discretizing rewards leads to less reward hacking and better policies than training on the original rewards.