R3: Modelli di Ricompensa Robusti e Indipendenti dalle Rubriche

Abstract

I modelli di ricompensa sono essenziali per allineare gli output dei modelli linguistici con le preferenze umane, tuttavia gli approcci esistenti spesso mancano sia di controllabilità che di interpretabilità. Questi modelli sono tipicamente ottimizzati per obiettivi ristretti, limitando la loro generalizzabilità a compiti downstream più ampi. Inoltre, i loro output scalari sono difficili da interpretare senza un ragionamento contestuale. Per affrontare queste limitazioni, introduciamo R3, un nuovo framework di modellazione della ricompensa che è agnostico rispetto alle rubriche, generalizzabile attraverso diverse dimensioni di valutazione e fornisce assegnazioni di punteggio interpretabili e ragionate. R3 consente una valutazione più trasparente e flessibile dei modelli linguistici, supportando un allineamento robusto con valori umani e casi d'uso diversi. I nostri modelli, dati e codice sono disponibili come open source all'indirizzo https://github.com/rubricreward/r3.

English

Reward models are essential for aligning language model outputs with human preferences, yet existing approaches often lack both controllability and interpretability. These models are typically optimized for narrow objectives, limiting their generalizability to broader downstream tasks. Moreover, their scalar outputs are difficult to interpret without contextual reasoning. To address these limitations, we introduce R3, a novel reward modeling framework that is rubric-agnostic, generalizable across evaluation dimensions, and provides interpretable, reasoned score assignments. R3 enables more transparent and flexible evaluation of language models, supporting robust alignment with diverse human values and use cases. Our models, data, and code are available as open source at https://github.com/rubricreward/r3

R3: Modelli di Ricompensa Robusti e Indipendenti dalle Rubriche

R3: Robust Rubric-Agnostic Reward Models

Abstract

Support