R3: Robuste Rubric-Onafhankelijke Beloningsmodellen

R3: Robust Rubric-Agnostic Reward Models

May 19, 2025

Auteurs: David Anugraha, Zilu Tang, Lester James V. Miranda, Hanyang Zhao, Mohammad Rifqi Farhansyah, Garry Kuwanto, Derry Wijaya, Genta Indra Winata

cs.AI

Samenvatting

Beloningsmodellen zijn essentieel voor het afstemmen van taalmodeluitvoer op menselijke voorkeuren, maar bestaande benaderingen missen vaak zowel beheersbaarheid als interpreteerbaarheid. Deze modellen zijn doorgaans geoptimaliseerd voor specifieke doelen, wat hun generaliseerbaarheid naar bredere downstreamtaken beperkt. Bovendien zijn hun scalaire uitvoer moeilijk te interpreteren zonder contextuele redenering. Om deze beperkingen aan te pakken, introduceren we R3, een nieuw raamwerk voor beloningsmodellering dat rubric-onafhankelijk is, generaliseerbaar over evaluatiedimensies, en interpreteerbare, beredeneerde scoretoewijzingen biedt. R3 maakt een transparantere en flexibelere evaluatie van taalmodellen mogelijk, wat een robuuste afstemming ondersteunt met diverse menselijke waarden en use cases. Onze modellen, data en code zijn beschikbaar als open source op https://github.com/rubricreward/r3.

English

Reward models are essential for aligning language model outputs with human preferences, yet existing approaches often lack both controllability and interpretability. These models are typically optimized for narrow objectives, limiting their generalizability to broader downstream tasks. Moreover, their scalar outputs are difficult to interpret without contextual reasoning. To address these limitations, we introduce R3, a novel reward modeling framework that is rubric-agnostic, generalizable across evaluation dimensions, and provides interpretable, reasoned score assignments. R3 enables more transparent and flexible evaluation of language models, supporting robust alignment with diverse human values and use cases. Our models, data, and code are available as open source at https://github.com/rubricreward/r3