C2: Modellazione Scalabile delle Ricompense Aumentata da Griglie di Valutazione a Partire da Preferenze Binarie
C2: Scalable Rubric-Augmented Reward Modeling from Binary Preferences
April 15, 2026
Autori: Akira Kawabata, Saku Sugawara
cs.AI
Abstract
La verifica potenziata da rubriche guida i modelli di ricompensa con criteri di valutazione espliciti, producendo giudizi più affidabili rispetto alla verifica a modello singolo. Tuttavia, la maggior parte dei metodi esistenti richiede costose annotazioni di rubriche, limitandone la scalabilità. Inoltre, abbiamo riscontrato che la generazione di rubriche è vulnerabile a un fallimento della cooperazione; rubriche di bassa qualità indirizzano erroneamente i modelli di ricompensa invece di aiutarli. Ispirati dal principio della comunicazione cooperativa, proponiamo Cooperative yet Critical reward modeling (C²), un framework che migliora significativamente i giudizi del modello di ricompensa facendo collaborare criticamente il modello con un generatore di rubriche addestrato esclusivamente su preferenze binarie. In C², sintetizziamo coppie di rubriche utili e fuorvianti misurando come ciascuna rubrica sposti il modello di ricompensa verso o lontano dalla preferenza corretta. Utilizzando queste coppie contrastive, addestriamo un generatore di rubriche cooperativo a proporre rubriche utili e un verificatore critico a valutare la validità della rubrica prima di emettere il suo giudizio, seguendo solo le rubriche che ritiene utili al momento dell'inferenza. C² supera i modelli di ricompensa basati sul ragionamento addestrati sulle stesse preferenze binarie, con guadagni fino a 6,5 punti su RM-Bench e un tasso di vittoria controllato per lunghezza di 6,0 punti su AlpacaEval 2.0. Senza annotazioni esterne di rubriche, C² consente a un modello di ricompensa da 8B di eguagliare le prestazioni ottenute con rubriche provenienti da un modello 4 volte più grande. Nel complesso, il nostro lavoro dimostra che l'elicitazione di una cooperazione deliberata nella verifica potenziata da rubriche rende i modelli di ricompensa più affidabili in modo scalabile.
English
Rubric-augmented verification guides reward models with explicit evaluation criteria, yielding more reliable judgments than single-model verification. However, most existing methods require costly rubric annotations, limiting scalability. Moreover, we find that rubric generation is vulnerable to a failure of cooperation; low-quality rubrics actively mislead reward models rather than help. Inspired by the principle of cooperative communication, we propose Cooperative yet Critical reward modeling (C2), a framework that significantly improves reward model judgments by having the reward model critically collaborate with a rubric generator trained solely from binary preferences. In C2, we synthesize helpful and misleading rubric pairs by measuring how each rubric shifts the reward model toward or away from the correct preference. Using these contrastive pairs, we train a cooperative rubric generator to propose helpful rubrics, and a critical verifier to assess rubric validity before making its judgment, following only rubrics it deems helpful at inference time. C2 outperforms reasoning reward models trained on the same binary preferences, with gains of up to 6.5 points on RM-Bench and 6.0 points length-controlled win rate on AlpacaEval 2.0. Without external rubric annotations, C2 enables an 8B reward model to match performance achieved with rubrics from a 4times larger model. Overall, our work demonstrates that eliciting deliberate cooperation in rubric-augmented verification makes reward models more trustworthy in a scalable way.