R3: Modelos de Recompensa Robustos e Independentes de Rubricas

Resumo

Modelos de recompensa são essenciais para alinhar as saídas de modelos de linguagem com as preferências humanas, mas as abordagens existentes frequentemente carecem tanto de controlabilidade quanto de interpretabilidade. Esses modelos são tipicamente otimizados para objetivos restritos, limitando sua generalização para tarefas subsequentes mais amplas. Além disso, suas saídas escalares são difíceis de interpretar sem raciocínio contextual. Para abordar essas limitações, introduzimos o R3, uma nova estrutura de modelagem de recompensa que é agnóstica em relação a rubricas, generalizável entre dimensões de avaliação e fornece atribuições de pontuação interpretáveis e fundamentadas. O R3 permite uma avaliação mais transparente e flexível de modelos de linguagem, apoiando um alinhamento robusto com diversos valores humanos e casos de uso. Nossos modelos, dados e código estão disponíveis como código aberto em https://github.com/rubricreward/r3.

English

Reward models are essential for aligning language model outputs with human preferences, yet existing approaches often lack both controllability and interpretability. These models are typically optimized for narrow objectives, limiting their generalizability to broader downstream tasks. Moreover, their scalar outputs are difficult to interpret without contextual reasoning. To address these limitations, we introduce R3, a novel reward modeling framework that is rubric-agnostic, generalizable across evaluation dimensions, and provides interpretable, reasoned score assignments. R3 enables more transparent and flexible evaluation of language models, supporting robust alignment with diverse human values and use cases. Our models, data, and code are available as open source at https://github.com/rubricreward/r3

R3: Modelos de Recompensa Robustos e Independentes de Rubricas

R3: Robust Rubric-Agnostic Reward Models

Resumo

Support