Un modèle de récompense de qualité contextuelle pour un échantillonnage Best-of-N fiable et efficace

A Contextual Quality Reward Model for Reliable and Efficient Best-of-N Sampling

October 5, 2025

papers.authors: Hyung Gyu Rho

cs.AI

papers.abstract

Les techniques modernes d'alignement des préférences, telles que l'échantillonnage Best-of-N (BoN), reposent sur des modèles de récompense entraînés avec des données de comparaison par paires. Bien qu'elles soient efficaces pour apprendre les préférences relatives, cette approche ne parvient pas à capturer un signal d'acceptabilité des réponses, rendant les systèmes vulnérables à la sélection de la moins mauvaise parmi de nombreuses options inacceptables. Ce problème est particulièrement critique pour les prompts difficiles, où le risque de telles fausses acceptations augmente avec le nombre d'échantillons. Dans cet article, nous abordons cette lacune critique en matière de fiabilité en introduisant un nouveau cadre de collecte et de modélisation des données. En enrichissant les données de préférence avec une option externe, inspirée des modèles de choix discrets, nous entraînons un modèle de récompense capable de distinguer non seulement ce qui est meilleur, mais aussi ce qui est suffisamment bon. Nous exploitons cette capacité pour créer une stratégie d'inférence adaptative, appelée best of mini-N in-loop, qui partitionne le budget de génération en boucles séquentielles avec une condition de sortie anticipée calibrée. Nos expériences montrent que, lorsqu'elle est ajustée comme une barrière de sécurité pour l'alignement, elle réduit les échecs de fiabilité de 70 %, et lorsqu'elle est ajustée comme un accélérateur d'inférence, elle améliore la vitesse d'inférence moyenne de plus de 22 % dans le cadre de l'analyse de sentiment IMDB. Nous proposons ainsi un cadre méthodologique et flexible permettant aux praticiens de gérer explicitement le compromis entre fiabilité et efficacité computationnelle.

English

Modern preference alignment techniques, such as Best-of-N (BoN) sampling, rely on reward models trained with pairwise comparison data. While effective at learning relative preferences, this paradigm fails to capture a signal of response acceptability, leaving systems vulnerable to selecting the least bad of many unacceptable options. This is particularly problematic for hard prompts, where the risk of such false acceptances increases with the number of samples. In this paper, we address this critical reliability gap by introducing a new data collection and modeling framework. By augmenting preference data with an outside option, inspired by discrete choice models, we train a reward model that can distinguish not just what is better, but what is good enough. We leverage this capability to create an adaptive inference strategy, best of mini-N in-loop, which partitions the generation budget into sequential loops with a calibrated, early-exit condition. Our experiments show that when tuned as an alignment guardrail, it reduces reliability failures by 70\%, and when tuned as an inference accelerator, it improves average inference speed by over 22\% in IMDB-sentiment setting. We thus provide a principled and flexible framework for practitioners to explicitly manage the trade-off between reliability and computational efficiency.