C2 : Modélisation de récompenses évolutive augmentée par rubrique à partir de préférences binaires
C2: Scalable Rubric-Augmented Reward Modeling from Binary Preferences
April 15, 2026
Auteurs: Akira Kawabata, Saku Sugawara
cs.AI
Résumé
La vérification assistée par rubriques guide les modèles de récompense avec des critères d'évaluation explicites, produisant des jugements plus fiables que la vérification par modèle unique. Cependant, la plupart des méthodes existantes nécessitent des annotations de rubriques coûteuses, limitant leur extensibilité. De plus, nous constatons que la génération de rubriques est vulnérable à un échec de coopération ; les rubriques de faible qualité induisent activement les modèles de récompense en erreur plutôt que de les aider. Inspirés par le principe de communication coopérative, nous proposons C2 (Cooperative yet Critical reward modeling), un cadre qui améliore significativement les jugements des modèles de récompense en faisant collaborer le modèle de récompense de manière critique avec un générateur de rubriques entraîné uniquement sur des préférences binaires. Dans C2, nous synthétisons des paires de rubriques utiles et trompeuses en mesurant comment chaque rubrique déplace le modèle de récompense vers ou loin de la préférence correcte. En utilisant ces paires contrastives, nous entraînons un générateur coopératif de rubriques à proposer des rubriques utiles, et un vérificateur critique à évaluer la validité des rubriques avant de rendre son jugement, en ne suivant à l'inférence que les rubriques qu'il juge utiles. C2 surpasse les modèles de récompense par raisonnement entraînés sur les mêmes préférences binaires, avec des gains allant jusqu'à 6,5 points sur RM-Bench et 6,0 points de taux de victure contrôlé par longueur sur AlpacaEval 2.0. Sans annotations externes de rubriques, C2 permet à un modèle de récompense de 8B d'égaler les performances obtenues avec des rubriques provenant d'un modèle 4 fois plus grand. Globalement, notre travail démontre qu'éliciter une coopération délibérée dans la vérification assistée par rubriques rend les modèles de récompense plus fiables de manière évolutive.
English
Rubric-augmented verification guides reward models with explicit evaluation criteria, yielding more reliable judgments than single-model verification. However, most existing methods require costly rubric annotations, limiting scalability. Moreover, we find that rubric generation is vulnerable to a failure of cooperation; low-quality rubrics actively mislead reward models rather than help. Inspired by the principle of cooperative communication, we propose Cooperative yet Critical reward modeling (C2), a framework that significantly improves reward model judgments by having the reward model critically collaborate with a rubric generator trained solely from binary preferences. In C2, we synthesize helpful and misleading rubric pairs by measuring how each rubric shifts the reward model toward or away from the correct preference. Using these contrastive pairs, we train a cooperative rubric generator to propose helpful rubrics, and a critical verifier to assess rubric validity before making its judgment, following only rubrics it deems helpful at inference time. C2 outperforms reasoning reward models trained on the same binary preferences, with gains of up to 6.5 points on RM-Bench and 6.0 points length-controlled win rate on AlpacaEval 2.0. Without external rubric annotations, C2 enables an 8B reward model to match performance achieved with rubrics from a 4times larger model. Overall, our work demonstrates that eliciting deliberate cooperation in rubric-augmented verification makes reward models more trustworthy in a scalable way.