Giudicare con sicurezza: Calibrare gli autorater alle distribuzioni di preferenza

Judging with Confidence: Calibrating Autoraters to Preference Distributions

September 30, 2025

Autori: Zhuohang Li, Xiaowei Li, Chengyu Huang, Guowang Li, Katayoon Goshvadi, Bo Dai, Dale Schuurmans, Paul Zhou, Hamid Palangi, Yiwen Song, Palash Goyal, Murat Kantarcioglu, Bradley A. Malin, Yuan Xue

cs.AI

Abstract

L'allineamento dei grandi modelli linguistici (LLM) ai valori umani si basa sempre più sull'uso di altri LLM come giudici automatizzati, o "autorater". Tuttavia, la loro affidabilità è limitata da un problema fondamentale: vengono addestrati su etichette di preferenza discrete, imponendo una singola verità di base su compiti che sono spesso soggettivi, ambigui o sfumati. Sosteniamo che un autorater affidabile deve imparare a modellare l'intera distribuzione delle preferenze definite da una popolazione target. In questo articolo, proponiamo un framework generale per calibrare autorater probabilistici su qualsiasi distribuzione di preferenza data. Formalizziamo il problema e presentiamo due metodi di apprendimento adattati a diverse condizioni di dati: 1) un fine-tuning supervisionato diretto per etichette probabilistiche dense, e 2) un approccio di apprendimento per rinforzo per etichette binarie sparse. I nostri risultati empirici dimostrano che il fine-tuning degli autorater con un obiettivo di corrispondenza della distribuzione porta a previsioni di probabilità verbalizzate che sono meglio allineate con la distribuzione di preferenza target, con una migliore calibrazione e un bias posizionale significativamente inferiore, pur mantenendo le prestazioni su compiti oggettivi.

English

The alignment of large language models (LLMs) with human values increasingly relies on using other LLMs as automated judges, or ``autoraters''. However, their reliability is limited by a foundational issue: they are trained on discrete preference labels, forcing a single ground truth onto tasks that are often subjective, ambiguous, or nuanced. We argue that a reliable autorater must learn to model the full distribution of preferences defined by a target population. In this paper, we propose a general framework for calibrating probabilistic autoraters to any given preference distribution. We formalize the problem and present two learning methods tailored to different data conditions: 1) a direct supervised fine-tuning for dense, probabilistic labels, and 2) a reinforcement learning approach for sparse, binary labels. Our empirical results show that finetuning autoraters with a distribution-matching objective leads to verbalized probability predictions that are better aligned with the target preference distribution, with improved calibration and significantly lower positional bias, all while preserving performance on objective tasks.