Дискретизация моделей вознаграждения

Аннотация

Несмотря на их широкое использование, роль моделей вознаграждения в формировании обучения с подкреплением остается плохо изученной. Модели вознаграждения предлагают заманчивое обещание: они автоматически оценивают качество ответов при отсутствии верификаторов или экспертов-людей. В отличие от «проверяемых вознаграждений», которые обычно дают бинарные оценки, модели вознаграждения обычно генерируют непрерывные оценки, что позволяет им быть чувствительными к мелким различиям в ответах. Однако мы показываем, что это кажущееся преимущество является серьезным недостатком: многие популярные модели вознаграждения обладают избыточной чувствительностью, присваивая разные оценки одинаково хорошим ответам. Теоретически мы демонстрируем, что, казалось бы, совершенные модели вознаграждения могут быть крайне избыточно чувствительными; эмпирически эта избыточная чувствительность может приводить к плохим политикам. Вместо существующих понятий «точности модели вознаграждения» мы предлагаем оценивать модели вознаграждения с помощью отдельных показателей: «дискриминационной способности» и «специфичности» (дополнение к избыточной чувствительности). В качестве решения мы описываем алгоритм без обучения, который использует Монте-Карло дропаут на любой нейросетевой модели вознаграждения для получения дискретных кластеров вознаграждения. Теоретически мы доказываем, что существуют дискретизации, которые уменьшают избыточную чувствительность с минимальной потерей дискриминационной способности; эмпирически мы показываем как в контролируемых, так и в естественных условиях обучения с подкреплением, что дискретизация вознаграждений приводит к меньшему взлому вознаграждения и лучшим политикам по сравнению с обучением на исходных вознаграждениях.

English

Despite their widespread use, the role of reward models in shaping reinforcement learning is poorly understood. Reward models offer a tempting promise: they automatically estimate response quality in the absence of verifiers or human judges. Unlike "verifiable rewards" which typically produce binary scores, reward models typically produce continuous scores, allowing them to be sensitive to fine-grained differences in responses. However, we show this apparent strength is a serious weakness: many popular reward models are oversensitive, assigning different scores to equally good responses. Theoretically, we show that seemingly perfect reward models can be highly oversensitive; empirically, this oversensitivity can lead to bad policies. In place of existing notions of "reward model accuracy," we propose evaluating reward models using distinct measures of "discriminative ability" and "specificity" (the complement of oversensitivity). As a solution, we describe a training-free algorithm that uses Monte Carlo dropout on any neural reward model to produce discrete reward clusters. Theoretically, we prove there exist discretizations that reduce oversensitivity at minimal expense of discriminative ability; empirically we show, in both controlled and natural RL settings, that discretizing rewards leads to less reward hacking and better policies than training on the original rewards.