Diskretisierung von Belohnungsmodellen

Zusammenfassung

Trotz ihrer weit verbreiteten Nutzung ist die Rolle von Belohnungsmodellen bei der Gestaltung des bestärkenden Lernens nur unzureichend verstanden. Belohnungsmodelle bieten eine verlockende Verheißung: Sie schätzen automatisch die Antwortqualität ein, wenn keine Verifizierer oder menschlichen Gutachter zur Verfügung stehen. Im Gegensatz zu „überprüfbaren Belohnungen“, die typischerweise binäre Bewertungen liefern, erzeugen Belohnungsmodelle in der Regel kontinuierliche Werte, wodurch sie empfindlich auf feine Unterschiede zwischen Antworten reagieren können. Allerdings zeigen wir, dass diese scheinbare Stärke eine ernsthafte Schwäche darstellt: Viele gängige Belohnungsmodelle sind überempfindlich und weisen gleich guten Antworten unterschiedliche Werte zu. Theoretisch belegen wir, dass scheinbar perfekte Belohnungsmodelle stark überempfindlich sein können; empirisch kann diese Überempfindlichkeit zu schlechten Strategien führen. Als Alternative zu bestehenden Konzepten der „Genauigkeit von Belohnungsmodellen“ schlagen wir vor, Belohnungsmodelle anhand getrennter Maße für „Unterscheidungsfähigkeit“ und „Spezifität“ (dem Gegenstück zur Überempfindlichkeit) zu bewerten. Als Lösung beschreiben wir einen trainingsfreien Algorithmus, der Monte-Carlo-Dropout auf jedes neuronale Belohnungsmodell anwendet, um diskrete Belohnungscluster zu erzeugen. Theoretisch beweisen wir, dass es Diskretisierungen gibt, die die Überempfindlichkeit bei minimalem Verlust an Unterscheidungsfähigkeit reduzieren; empirisch zeigen wir in sowohl kontrollierten als auch natürlichen RL-Umgebungen, dass die Diskretisierung von Belohnungen zu weniger Reward Hacking und besseren Strategien führt als das Training mit den ursprünglichen Belohnungen.

English

Despite their widespread use, the role of reward models in shaping reinforcement learning is poorly understood. Reward models offer a tempting promise: they automatically estimate response quality in the absence of verifiers or human judges. Unlike "verifiable rewards" which typically produce binary scores, reward models typically produce continuous scores, allowing them to be sensitive to fine-grained differences in responses. However, we show this apparent strength is a serious weakness: many popular reward models are oversensitive, assigning different scores to equally good responses. Theoretically, we show that seemingly perfect reward models can be highly oversensitive; empirically, this oversensitivity can lead to bad policies. In place of existing notions of "reward model accuracy," we propose evaluating reward models using distinct measures of "discriminative ability" and "specificity" (the complement of oversensitivity). As a solution, we describe a training-free algorithm that uses Monte Carlo dropout on any neural reward model to produce discrete reward clusters. Theoretically, we prove there exist discretizations that reduce oversensitivity at minimal expense of discriminative ability; empirically we show, in both controlled and natural RL settings, that discretizing rewards leads to less reward hacking and better policies than training on the original rewards.