Juger avec confiance : Calibration des évaluateurs automatiques aux distributions de préférences

Judging with Confidence: Calibrating Autoraters to Preference Distributions

September 30, 2025

papers.authors: Zhuohang Li, Xiaowei Li, Chengyu Huang, Guowang Li, Katayoon Goshvadi, Bo Dai, Dale Schuurmans, Paul Zhou, Hamid Palangi, Yiwen Song, Palash Goyal, Murat Kantarcioglu, Bradley A. Malin, Yuan Xue

cs.AI

papers.abstract

L'alignement des grands modèles de langage (LLMs) avec les valeurs humaines repose de plus en plus sur l'utilisation d'autres LLMs comme juges automatisés, ou « autoraters ». Cependant, leur fiabilité est limitée par un problème fondamental : ils sont entraînés sur des étiquettes de préférences discrètes, imposant une seule vérité de référence à des tâches souvent subjectives, ambiguës ou nuancées. Nous soutenons qu'un autorater fiable doit apprendre à modéliser la distribution complète des préférences définie par une population cible. Dans cet article, nous proposons un cadre général pour calibrer des autoraters probabilistes à toute distribution de préférences donnée. Nous formalisons le problème et présentons deux méthodes d'apprentissage adaptées à différentes conditions de données : 1) un réglage fin supervisé direct pour des étiquettes denses et probabilistes, et 2) une approche d'apprentissage par renforcement pour des étiquettes binaires et éparses. Nos résultats empiriques montrent que le réglage fin des autoraters avec un objectif d'alignement de distribution conduit à des prédictions de probabilités verbalisées mieux alignées avec la distribution de préférences cible, avec une calibration améliorée et un biais positionnel significativement réduit, tout en préservant les performances sur les tâches objectives.

English

The alignment of large language models (LLMs) with human values increasingly relies on using other LLMs as automated judges, or ``autoraters''. However, their reliability is limited by a foundational issue: they are trained on discrete preference labels, forcing a single ground truth onto tasks that are often subjective, ambiguous, or nuanced. We argue that a reliable autorater must learn to model the full distribution of preferences defined by a target population. In this paper, we propose a general framework for calibrating probabilistic autoraters to any given preference distribution. We formalize the problem and present two learning methods tailored to different data conditions: 1) a direct supervised fine-tuning for dense, probabilistic labels, and 2) a reinforcement learning approach for sparse, binary labels. Our empirical results show that finetuning autoraters with a distribution-matching objective leads to verbalized probability predictions that are better aligned with the target preference distribution, with improved calibration and significantly lower positional bias, all while preserving performance on objective tasks.