Juzgar con Confianza: Calibración de Evaluadores Automáticos a Distribuciones de Preferencia

Judging with Confidence: Calibrating Autoraters to Preference Distributions

September 30, 2025

Autores: Zhuohang Li, Xiaowei Li, Chengyu Huang, Guowang Li, Katayoon Goshvadi, Bo Dai, Dale Schuurmans, Paul Zhou, Hamid Palangi, Yiwen Song, Palash Goyal, Murat Kantarcioglu, Bradley A. Malin, Yuan Xue

cs.AI

Resumen

La alineación de los modelos de lenguaje de gran escala (LLMs, por sus siglas en inglés) con los valores humanos depende cada vez más del uso de otros LLMs como evaluadores automatizados, o "autoraters". Sin embargo, su fiabilidad está limitada por un problema fundamental: están entrenados con etiquetas de preferencia discretas, lo que impone una única verdad absoluta en tareas que a menudo son subjetivas, ambiguas o matizadas. Argumentamos que un autorater confiable debe aprender a modelar la distribución completa de preferencias definida por una población objetivo. En este artículo, proponemos un marco general para calibrar autoraters probabilísticos según cualquier distribución de preferencias dada. Formalizamos el problema y presentamos dos métodos de aprendizaje adaptados a diferentes condiciones de datos: 1) un ajuste fino supervisado directo para etiquetas densas y probabilísticas, y 2) un enfoque de aprendizaje por refuerzo para etiquetas binarias dispersas. Nuestros resultados empíricos muestran que ajustar los autoraters con un objetivo de coincidencia de distribución conduce a predicciones de probabilidad verbalizadas que están mejor alineadas con la distribución de preferencias objetivo, con una calibración mejorada y un sesgo posicional significativamente menor, todo ello manteniendo el rendimiento en tareas objetivas.

English

The alignment of large language models (LLMs) with human values increasingly relies on using other LLMs as automated judges, or ``autoraters''. However, their reliability is limited by a foundational issue: they are trained on discrete preference labels, forcing a single ground truth onto tasks that are often subjective, ambiguous, or nuanced. We argue that a reliable autorater must learn to model the full distribution of preferences defined by a target population. In this paper, we propose a general framework for calibrating probabilistic autoraters to any given preference distribution. We formalize the problem and present two learning methods tailored to different data conditions: 1) a direct supervised fine-tuning for dense, probabilistic labels, and 2) a reinforcement learning approach for sparse, binary labels. Our empirical results show that finetuning autoraters with a distribution-matching objective leads to verbalized probability predictions that are better aligned with the target preference distribution, with improved calibration and significantly lower positional bias, all while preserving performance on objective tasks.