Beoordelen met Vertrouwen: Het Kalibreren van Autoraters naar Voorkeursverdelingen

Judging with Confidence: Calibrating Autoraters to Preference Distributions

September 30, 2025

Auteurs: Zhuohang Li, Xiaowei Li, Chengyu Huang, Guowang Li, Katayoon Goshvadi, Bo Dai, Dale Schuurmans, Paul Zhou, Hamid Palangi, Yiwen Song, Palash Goyal, Murat Kantarcioglu, Bradley A. Malin, Yuan Xue

cs.AI

Samenvatting

De afstemming van grote taalmodellen (LLMs) op menselijke waarden is in toenemende mate afhankelijk van het gebruik van andere LLMs als geautomatiseerde beoordelaars, ofwel "autoraters". Hun betrouwbaarheid wordt echter beperkt door een fundamenteel probleem: ze zijn getraind op discrete voorkeurslabels, waardoor een enkele waarheid wordt opgelegd aan taken die vaak subjectief, ambigu of genuanceerd zijn. Wij stellen dat een betrouwbare autorater de volledige verdeling van voorkeuren die door een doelpopulatie wordt gedefinieerd, moet leren modelleren. In dit artikel presenteren we een algemeen raamwerk voor het kalibreren van probabilistische autoraters naar een gegeven voorkeursverdeling. We formaliseren het probleem en presenteren twee leermethoden die zijn afgestemd op verschillende data-omstandigheden: 1) een directe supervised fine-tuning voor dichte, probabilistische labels, en 2) een reinforcement learning-benadering voor schaarse, binaire labels. Onze empirische resultaten tonen aan dat het finetunen van autoraters met een distributie-matching doelstelling leidt tot verbaal uitgedrukte waarschijnlijkheidsvoorspellingen die beter zijn afgestemd op de doelvoorkeursverdeling, met verbeterde kalibratie en aanzienlijk minder positionele bias, terwijl de prestaties op objectieve taken behouden blijven.

English

The alignment of large language models (LLMs) with human values increasingly relies on using other LLMs as automated judges, or ``autoraters''. However, their reliability is limited by a foundational issue: they are trained on discrete preference labels, forcing a single ground truth onto tasks that are often subjective, ambiguous, or nuanced. We argue that a reliable autorater must learn to model the full distribution of preferences defined by a target population. In this paper, we propose a general framework for calibrating probabilistic autoraters to any given preference distribution. We formalize the problem and present two learning methods tailored to different data conditions: 1) a direct supervised fine-tuning for dense, probabilistic labels, and 2) a reinforcement learning approach for sparse, binary labels. Our empirical results show that finetuning autoraters with a distribution-matching objective leads to verbalized probability predictions that are better aligned with the target preference distribution, with improved calibration and significantly lower positional bias, all while preserving performance on objective tasks.