Discretiseren van beloningsmodellen

Samenvatting

Ondanks hun wijdverbreide gebruik is de rol van beloningsmodellen bij het vormgeven van versterkend leren slecht begrepen. Beloningsmodellen bieden een verleidelijke belofte: ze schatten automatisch de kwaliteit van responsen in, zonder dat er verificateurs of menselijke beoordelaars nodig zijn. In tegenstelling tot 'verifieerbare beloningen', die doorgaans binaire scores opleveren, produceren beloningsmodellen meestal continue scores, waardoor ze gevoelig kunnen zijn voor fijnmazige verschillen in responsen. We laten echter zien dat deze schijnbare sterkte een ernstige zwakte is: veel populaire beloningsmodellen zijn overgevoelig en kennen verschillende scores toe aan even goede responsen. Theoretisch tonen we aan dat ogenschijnlijk perfecte beloningsmodellen zeer overgevoelig kunnen zijn; empirisch kan deze overgevoeligheid leiden tot slecht beleid. In plaats van bestaande opvattingen over 'nauwkeurigheid van beloningsmodellen' stellen we voor om beloningsmodellen te evalueren met behulp van afzonderlijke maten van 'onderscheidend vermogen' en 'specificiteit' (het complement van overgevoeligheid). Als oplossing beschrijven we een trainingsvrij algoritme dat Monte Carlo dropout gebruikt op elk neuraal beloningsmodel om discrete beloningsclusters te produceren. Theoretisch bewijzen we dat er discretisaties bestaan die de overgevoeligheid verminderen met minimaal verlies aan onderscheidend vermogen; empirisch tonen we aan, in zowel gecontroleerde als natuurlijke RL-omgevingen, dat het discretiseren van beloningen leidt tot minder beloningshacking en beter beleid dan trainen op de oorspronkelijke beloningen.

English

Despite their widespread use, the role of reward models in shaping reinforcement learning is poorly understood. Reward models offer a tempting promise: they automatically estimate response quality in the absence of verifiers or human judges. Unlike "verifiable rewards" which typically produce binary scores, reward models typically produce continuous scores, allowing them to be sensitive to fine-grained differences in responses. However, we show this apparent strength is a serious weakness: many popular reward models are oversensitive, assigning different scores to equally good responses. Theoretically, we show that seemingly perfect reward models can be highly oversensitive; empirically, this oversensitivity can lead to bad policies. In place of existing notions of "reward model accuracy," we propose evaluating reward models using distinct measures of "discriminative ability" and "specificity" (the complement of oversensitivity). As a solution, we describe a training-free algorithm that uses Monte Carlo dropout on any neural reward model to produce discrete reward clusters. Theoretically, we prove there exist discretizations that reduce oversensitivity at minimal expense of discriminative ability; empirically we show, in both controlled and natural RL settings, that discretizing rewards leads to less reward hacking and better policies than training on the original rewards.