C2: Масштабируемое моделирование вознаграждений с расширенными рубриками на основе бинарных предпочтений
C2: Scalable Rubric-Augmented Reward Modeling from Binary Preferences
April 15, 2026
Авторы: Akira Kawabata, Saku Sugawara
cs.AI
Аннотация
Верификация с использованием рубрик направляет модели вознаграждения с помощью явных критериев оценки, обеспечивая более надежные суждения по сравнению с верификацией на основе одной модели. Однако большинство существующих методов требуют дорогостоящих аннотаций рубрик, что ограничивает их масштабируемость. Более того, мы обнаружили, что генерация рубрик уязвима для сбоя кооперации: низкокачественные рубрики активно вводят модели вознаграждения в заблуждение, а не помогают им. Вдохновленные принципом кооперативной коммуникации, мы предлагаем кооперативное, но критическое моделирование вознаграждения (C2) — фреймворк, который значительно улучшает суждения модели вознаграждения за счет ее критического сотрудничества с генератором рубрик, обученным исключительно на бинарных предпочтениях. В C2 мы синтезируем пары полезных и вводящих в заблуждение рубрик, измеряя, насколько каждая рубрика смещает модель вознаграждения в сторону или отдаляет от правильного предпочтения. Используя эти контрастные пары, мы обучаем кооперативный генератор рубрик предлагать полезные рубрики и критический верификатор оценивать валидность рубрики перед вынесением суждения, следуя на этапе вывода только тем рубрикам, которые он считает полезными. C2 превосходит модели вознаграждения с логическим выводом, обученные на тех же бинарных предпочтениях, с приростом до 6.5 баллов на RM-Bench и 6.0% по контролируемому по длине win rate на AlpacaEval 2.0. Без внешних аннотаций рубрик C2 позволяет модели вознаграждения объемом 8B достичь производительности, демонстрируемой с рубриками от модели в 4 раза больше. В целом, наша работа демонстрирует, что стимулирование осознанной кооперации в верификации с использованием рубрик делает модели вознаграждения более надежным и масштабируемым способом.
English
Rubric-augmented verification guides reward models with explicit evaluation criteria, yielding more reliable judgments than single-model verification. However, most existing methods require costly rubric annotations, limiting scalability. Moreover, we find that rubric generation is vulnerable to a failure of cooperation; low-quality rubrics actively mislead reward models rather than help. Inspired by the principle of cooperative communication, we propose Cooperative yet Critical reward modeling (C2), a framework that significantly improves reward model judgments by having the reward model critically collaborate with a rubric generator trained solely from binary preferences. In C2, we synthesize helpful and misleading rubric pairs by measuring how each rubric shifts the reward model toward or away from the correct preference. Using these contrastive pairs, we train a cooperative rubric generator to propose helpful rubrics, and a critical verifier to assess rubric validity before making its judgment, following only rubrics it deems helpful at inference time. C2 outperforms reasoning reward models trained on the same binary preferences, with gains of up to 6.5 points on RM-Bench and 6.0 points length-controlled win rate on AlpacaEval 2.0. Without external rubric annotations, C2 enables an 8B reward model to match performance achieved with rubrics from a 4times larger model. Overall, our work demonstrates that eliciting deliberate cooperation in rubric-augmented verification makes reward models more trustworthy in a scalable way.