C2: Schaalbaar rubric-aangevuld beloningsmodelleren op basis van binaire voorkeuren
C2: Scalable Rubric-Augmented Reward Modeling from Binary Preferences
April 15, 2026
Auteurs: Akira Kawabata, Saku Sugawara
cs.AI
Samenvatting
Rubric-verrijkte verificatie leidt beloningsmodellen met expliciete evaluatiecriteria, wat betrouwbaardere beoordelingen oplevert dan verificatie met één enkel model. De meeste bestaande methoden vereisen echter kostbare rubric-annotaties, wat de schaalbaarheid beperkt. Bovendien constateren we dat rubric-generatie kwetsbaar is voor een gebrek aan samenwerking; rubric-generatie is kwetsbaar voor een samenwerkingsfalen; rubrics van lage kwaliteit misleiden beloningsmodellen actief in plaats van te helpen. Geïnspireerd door het principe van coöperatieve communicatie stellen we Cooperative yet Critical reward modeling (C²) voor, een raamwerk dat de beoordelingen van beloningsmodellen aanzienlijk verbetert door het model kritisch te laten samenwerken met een rubric-generator die uitsluitend is getraind op binaire voorkeuren. In C² synthetiseren we nuttige en misleidende rubric-paren door te meten hoe elke rubric het beloningsmodel naar de correcte voorkeur toe of er juist vanaf leidt. Met deze contrastieve paren trainen we een coöperatieve rubric-generator om nuttige rubrics voor te stellen, en een kritische verificateur om de rubric-geldigheid te beoordelen alvorens een oordeel te vellen, waarbij deze tijdens inferentie alleen rubrics volgt die hij als nuttig beschouwt. C² presteert beter dan redenerende beloningsmodellen die op dezelfde binaire voorkeuren zijn getraind, met winsten tot 6,5 punten op RM-Bench en 6,0 punten lengte-gecontroleerde winratio op AlpacaEval 2.0. Zonder externe rubric-annotaties stelt C² een 8B-beloningsmodel in staat om de prestaties te evenaren die worden bereikt met rubrics van een model dat 4 keer groter is. Over het geheel genomen toont ons werk aan dat het uitlokken van weloverwogen samenwerking in rubric-verrijkte verificatie beloningsmodellen op een schaalbare manier betrouwbaarder maakt.
English
Rubric-augmented verification guides reward models with explicit evaluation criteria, yielding more reliable judgments than single-model verification. However, most existing methods require costly rubric annotations, limiting scalability. Moreover, we find that rubric generation is vulnerable to a failure of cooperation; low-quality rubrics actively mislead reward models rather than help. Inspired by the principle of cooperative communication, we propose Cooperative yet Critical reward modeling (C2), a framework that significantly improves reward model judgments by having the reward model critically collaborate with a rubric generator trained solely from binary preferences. In C2, we synthesize helpful and misleading rubric pairs by measuring how each rubric shifts the reward model toward or away from the correct preference. Using these contrastive pairs, we train a cooperative rubric generator to propose helpful rubrics, and a critical verifier to assess rubric validity before making its judgment, following only rubrics it deems helpful at inference time. C2 outperforms reasoning reward models trained on the same binary preferences, with gains of up to 6.5 points on RM-Bench and 6.0 points length-controlled win rate on AlpacaEval 2.0. Without external rubric annotations, C2 enables an 8B reward model to match performance achieved with rubrics from a 4times larger model. Overall, our work demonstrates that eliciting deliberate cooperation in rubric-augmented verification makes reward models more trustworthy in a scalable way.