C2: Skalierbare Rubrik-gestützte Belohnungsmodellierung aus binären Präferenzen

C2: Scalable Rubric-Augmented Reward Modeling from Binary Preferences

April 15, 2026

Autoren: Akira Kawabata, Saku Sugawara

cs.AI

Zusammenfassung

Rubrik-gestützte Verifizierung leitet Belohnungsmodelle mit expliziten Bewertungskriterien an und erzielt dadurch zuverlässigere Urteile als Einzelmodell-Verifikation. Die meisten bestehenden Methoden erfordern jedoch kostspielige Rubriken-Annotationen, was ihre Skalierbarkeit einschränkt. Darüber hinaus stellen wir fest, dass die Rubrikgenerierung anfällig für ein Kooperationsversagen ist: qualitativ schlechte Rubriken führen Belohnungsmodelle aktiv in die Irre, anstatt sie zu unterstützen. Inspiriert vom Prinzip der kooperativen Kommunikation schlagen wir Cooperative yet Critical Reward Modeling (C2) vor – ein Framework, das die Urteile von Belohnungsmodellen signifikant verbessert, indem das Belohnungsmodell kritisch mit einem Rubrikgenerator zusammenarbeitet, der ausschließlich auf binären Präferenzen trainiert wurde. In C2 synthetisieren wir hilfreiche und irreführende Rubrikenpaare, indem wir messen, wie jede Rubrik das Belohnungsmodell in Richtung der korrekten Präferenz oder davon weg bewegt. Mithilfe dieser kontrastiven Paare trainieren wir einen kooperativen Rubrikgenerator, der hilfreiche Rubriken vorschlägt, sowie einen kritischen Verifizierer, der vor seiner Entscheidung die Gültigkeit der Rubrik bewertet und zur Inferenzzeit nur Rubriken folgt, die er als hilfreich erachtet. C2 übertrifft reasoning-Belohnungsmodelle, die auf denselben binären Präferenzen trainiert wurden, mit Gewinnen von bis zu 6,5 Punkten auf RM-Bench und 6,0 Punkten längenkontrollierter Win-Rate auf AlpacaEval 2.0. Ohne externe Rubriken-Annotationen ermöglicht C2 einem 8B-Belohnungsmodell, die Leistung zu erreichen, die mit Rubriken eines 4-mal größeren Modells erzielt wird. Insgesamt zeigt unsere Arbeit, dass das Herbeiführen bewusster Kooperation in der rubrik-gestützten Verifikation Belohnungsmodelle auf skalierbare Weise vertrauenswürdiger macht.

English

Rubric-augmented verification guides reward models with explicit evaluation criteria, yielding more reliable judgments than single-model verification. However, most existing methods require costly rubric annotations, limiting scalability. Moreover, we find that rubric generation is vulnerable to a failure of cooperation; low-quality rubrics actively mislead reward models rather than help. Inspired by the principle of cooperative communication, we propose Cooperative yet Critical reward modeling (C2), a framework that significantly improves reward model judgments by having the reward model critically collaborate with a rubric generator trained solely from binary preferences. In C2, we synthesize helpful and misleading rubric pairs by measuring how each rubric shifts the reward model toward or away from the correct preference. Using these contrastive pairs, we train a cooperative rubric generator to propose helpful rubrics, and a critical verifier to assess rubric validity before making its judgment, following only rubrics it deems helpful at inference time. C2 outperforms reasoning reward models trained on the same binary preferences, with gains of up to 6.5 points on RM-Bench and 6.0 points length-controlled win rate on AlpacaEval 2.0. Without external rubric annotations, C2 enables an 8B reward model to match performance achieved with rubrics from a 4times larger model. Overall, our work demonstrates that eliciting deliberate cooperation in rubric-augmented verification makes reward models more trustworthy in a scalable way.