Оценка с уверенностью: калибровка автоматических оценщиков под распределения предпочтений

Judging with Confidence: Calibrating Autoraters to Preference Distributions

September 30, 2025

Авторы: Zhuohang Li, Xiaowei Li, Chengyu Huang, Guowang Li, Katayoon Goshvadi, Bo Dai, Dale Schuurmans, Paul Zhou, Hamid Palangi, Yiwen Song, Palash Goyal, Murat Kantarcioglu, Bradley A. Malin, Yuan Xue

cs.AI

Аннотация

Согласование крупных языковых моделей (LLM) с человеческими ценностями всё чаще опирается на использование других LLM в качестве автоматических судей, или «автооценщиков». Однако их надежность ограничена фундаментальной проблемой: они обучаются на дискретных метках предпочтений, что навязывает единую истину для задач, которые часто являются субъективными, неоднозначными или сложными. Мы утверждаем, что надежный автооценщик должен научиться моделировать полное распределение предпочтений, определенное целевой популяцией. В данной статье мы предлагаем общий фреймворк для калибровки вероятностных автооценщиков к любому заданному распределению предпочтений. Мы формализуем проблему и представляем два метода обучения, адаптированных к различным условиям данных: 1) прямое тонкое обучение с учителем для плотных, вероятностных меток и 2) подход с обучением с подкреплением для разреженных, бинарных меток. Наши эмпирические результаты показывают, что тонкая настройка автооценщиков с целью соответствия распределению приводит к вербализированным вероятностным прогнозам, которые лучше согласуются с целевым распределением предпочтений, с улучшенной калибровкой и значительно меньшим позиционным смещением, при этом сохраняя производительность на объективных задачах.

English

The alignment of large language models (LLMs) with human values increasingly relies on using other LLMs as automated judges, or ``autoraters''. However, their reliability is limited by a foundational issue: they are trained on discrete preference labels, forcing a single ground truth onto tasks that are often subjective, ambiguous, or nuanced. We argue that a reliable autorater must learn to model the full distribution of preferences defined by a target population. In this paper, we propose a general framework for calibrating probabilistic autoraters to any given preference distribution. We formalize the problem and present two learning methods tailored to different data conditions: 1) a direct supervised fine-tuning for dense, probabilistic labels, and 2) a reinforcement learning approach for sparse, binary labels. Our empirical results show that finetuning autoraters with a distribution-matching objective leads to verbalized probability predictions that are better aligned with the target preference distribution, with improved calibration and significantly lower positional bias, all while preserving performance on objective tasks.