Модель контекстуального вознаграждения за качество для надежного и эффективного сэмплирования Best-of-N

A Contextual Quality Reward Model for Reliable and Efficient Best-of-N Sampling

October 5, 2025

Авторы: Hyung Gyu Rho

cs.AI

Аннотация

Современные методы согласования предпочтений, такие как выбор лучшего из N (Best-of-N, BoN), основываются на моделях вознаграждения, обученных на данных попарных сравнений. Хотя этот подход эффективен для изучения относительных предпочтений, он не учитывает сигнал приемлемости ответа, что делает системы уязвимыми к выбору наименее плохого из множества неприемлемых вариантов. Это особенно проблематично для сложных запросов, где риск таких ложных принятий возрастает с увеличением числа образцов. В данной работе мы устраняем этот критический пробел в надежности, предлагая новый подход к сбору данных и моделированию. Дополняя данные о предпочтениях внешней альтернативой, вдохновленной моделями дискретного выбора, мы обучаем модель вознаграждения, которая способна определять не только то, что лучше, но и то, что достаточно хорошо. Мы используем эту возможность для создания адаптивной стратегии вывода, называемой "лучший из мини-N в цикле", которая разделяет бюджет генерации на последовательные циклы с калиброванным условием раннего выхода. Наши эксперименты показывают, что при настройке в качестве защитного механизма согласования она снижает количество сбоев надежности на 70%, а при настройке в качестве ускорителя вывода повышает среднюю скорость вывода более чем на 22% в настройке IMDB-сентимента. Таким образом, мы предлагаем принципиальный и гибкий подход, позволяющий специалистам явно управлять компромиссом между надежностью и вычислительной эффективностью.

English

Modern preference alignment techniques, such as Best-of-N (BoN) sampling, rely on reward models trained with pairwise comparison data. While effective at learning relative preferences, this paradigm fails to capture a signal of response acceptability, leaving systems vulnerable to selecting the least bad of many unacceptable options. This is particularly problematic for hard prompts, where the risk of such false acceptances increases with the number of samples. In this paper, we address this critical reliability gap by introducing a new data collection and modeling framework. By augmenting preference data with an outside option, inspired by discrete choice models, we train a reward model that can distinguish not just what is better, but what is good enough. We leverage this capability to create an adaptive inference strategy, best of mini-N in-loop, which partitions the generation budget into sequential loops with a calibrated, early-exit condition. Our experiments show that when tuned as an alignment guardrail, it reduces reliability failures by 70\%, and when tuned as an inference accelerator, it improves average inference speed by over 22\% in IMDB-sentiment setting. We thus provide a principled and flexible framework for practitioners to explicitly manage the trade-off between reliability and computational efficiency.