R3: Robuste rubrikunabhängige Belohnungsmodelle

R3: Robust Rubric-Agnostic Reward Models

May 19, 2025

Autoren: David Anugraha, Zilu Tang, Lester James V. Miranda, Hanyang Zhao, Mohammad Rifqi Farhansyah, Garry Kuwanto, Derry Wijaya, Genta Indra Winata

cs.AI

Zusammenfassung

Belohnungsmodelle sind entscheidend, um die Ausgaben von Sprachmodellen mit menschlichen Präferenzen in Einklang zu bringen, doch bestehende Ansätze mangelt es oft sowohl an Steuerbarkeit als auch an Interpretierbarkeit. Diese Modelle werden typischerweise für eng gefasste Ziele optimiert, was ihre Generalisierbarkeit für breitere nachgelagerte Aufgaben einschränkt. Darüber hinaus sind ihre skalaren Ausgaben ohne kontextbezogene Überlegungen schwer zu interpretieren. Um diese Einschränkungen zu überwinden, stellen wir R3 vor, ein neuartiges Belohnungsmodellierungs-Framework, das rubrikunabhängig ist, über verschiedene Bewertungsdimensionen hinweg generalisierbar ist und interpretierbare, begründete Bewertungszuweisungen liefert. R3 ermöglicht eine transparentere und flexiblere Bewertung von Sprachmodellen und unterstützt eine robuste Ausrichtung auf vielfältige menschliche Werte und Anwendungsfälle. Unsere Modelle, Daten und Code sind als Open Source unter https://github.com/rubricreward/r3 verfügbar.

English

Reward models are essential for aligning language model outputs with human preferences, yet existing approaches often lack both controllability and interpretability. These models are typically optimized for narrow objectives, limiting their generalizability to broader downstream tasks. Moreover, their scalar outputs are difficult to interpret without contextual reasoning. To address these limitations, we introduce R3, a novel reward modeling framework that is rubric-agnostic, generalizable across evaluation dimensions, and provides interpretable, reasoned score assignments. R3 enables more transparent and flexible evaluation of language models, supporting robust alignment with diverse human values and use cases. Our models, data, and code are available as open source at https://github.com/rubricreward/r3