R3: Modelos de Recompensa Robustos Independientes de la Rúbrica

Resumen

Los modelos de recompensa son fundamentales para alinear las salidas de los modelos de lenguaje con las preferencias humanas; sin embargo, los enfoques existentes suelen carecer tanto de controlabilidad como de interpretabilidad. Estos modelos generalmente se optimizan para objetivos específicos, lo que limita su generalización a tareas posteriores más amplias. Además, sus salidas escalares son difíciles de interpretar sin un razonamiento contextual. Para abordar estas limitaciones, presentamos R3, un marco novedoso de modelado de recompensas que es independiente de rúbricas, generalizable a través de dimensiones de evaluación y proporciona asignaciones de puntuación interpretables y razonadas. R3 permite una evaluación más transparente y flexible de los modelos de lenguaje, apoyando una alineación robusta con diversos valores humanos y casos de uso. Nuestros modelos, datos y código están disponibles como código abierto en https://github.com/rubricreward/r3.

English

Reward models are essential for aligning language model outputs with human preferences, yet existing approaches often lack both controllability and interpretability. These models are typically optimized for narrow objectives, limiting their generalizability to broader downstream tasks. Moreover, their scalar outputs are difficult to interpret without contextual reasoning. To address these limitations, we introduce R3, a novel reward modeling framework that is rubric-agnostic, generalizable across evaluation dimensions, and provides interpretable, reasoned score assignments. R3 enables more transparent and flexible evaluation of language models, supporting robust alignment with diverse human values and use cases. Our models, data, and code are available as open source at https://github.com/rubricreward/r3

R3: Modelos de Recompensa Robustos Independientes de la Rúbrica

R3: Robust Rubric-Agnostic Reward Models

Resumen

Summary

Support

Support