Un Modelo de Recompensa de Calidad Contextual para un Muestreo Confiable y Eficiente del Mejor de N

A Contextual Quality Reward Model for Reliable and Efficient Best-of-N Sampling

October 5, 2025

Autores: Hyung Gyu Rho

cs.AI

Resumen

Las técnicas modernas de alineación de preferencias, como el muestreo Best-of-N (BoN), se basan en modelos de recompensa entrenados con datos de comparación por pares. Aunque son efectivas para aprender preferencias relativas, este paradigma no logra capturar una señal de aceptabilidad de las respuestas, lo que deja a los sistemas vulnerables a seleccionar la menos mala entre muchas opciones inaceptables. Esto es particularmente problemático para indicaciones difíciles, donde el riesgo de tales falsas aceptaciones aumenta con el número de muestras. En este artículo, abordamos esta brecha crítica de confiabilidad introduciendo un nuevo marco de recopilación y modelado de datos. Al complementar los datos de preferencia con una opción externa, inspirados en modelos de elección discreta, entrenamos un modelo de recompensa que puede distinguir no solo qué es mejor, sino también qué es lo suficientemente bueno. Aprovechamos esta capacidad para crear una estrategia de inferencia adaptativa, best of mini-N in-loop, que divide el presupuesto de generación en bucles secuenciales con una condición de salida temprana calibrada. Nuestros experimentos muestran que, cuando se ajusta como una barrera de alineación, reduce los fallos de confiabilidad en un 70%, y cuando se ajusta como un acelerador de inferencia, mejora la velocidad promedio de inferencia en más del 22% en el entorno de sentimiento de IMDB. Así, proporcionamos un marco principiado y flexible para que los profesionales gestionen explícitamente el equilibrio entre confiabilidad y eficiencia computacional.

English

Modern preference alignment techniques, such as Best-of-N (BoN) sampling, rely on reward models trained with pairwise comparison data. While effective at learning relative preferences, this paradigm fails to capture a signal of response acceptability, leaving systems vulnerable to selecting the least bad of many unacceptable options. This is particularly problematic for hard prompts, where the risk of such false acceptances increases with the number of samples. In this paper, we address this critical reliability gap by introducing a new data collection and modeling framework. By augmenting preference data with an outside option, inspired by discrete choice models, we train a reward model that can distinguish not just what is better, but what is good enough. We leverage this capability to create an adaptive inference strategy, best of mini-N in-loop, which partitions the generation budget into sequential loops with a calibrated, early-exit condition. Our experiments show that when tuned as an alignment guardrail, it reduces reliability failures by 70\%, and when tuned as an inference accelerator, it improves average inference speed by over 22\% in IMDB-sentiment setting. We thus provide a principled and flexible framework for practitioners to explicitly manage the trade-off between reliability and computational efficiency.