R3: Робастные модели вознаграждения, независимые от рубрик

R3: Robust Rubric-Agnostic Reward Models

May 19, 2025

Авторы: David Anugraha, Zilu Tang, Lester James V. Miranda, Hanyang Zhao, Mohammad Rifqi Farhansyah, Garry Kuwanto, Derry Wijaya, Genta Indra Winata

cs.AI

Аннотация

Модели вознаграждения играют ключевую роль в согласовании выходных данных языковых моделей с человеческими предпочтениями, однако существующие подходы часто страдают от недостатка управляемости и интерпретируемости. Эти модели обычно оптимизируются для узких задач, что ограничивает их применимость к более широкому спектру задач. Кроме того, их скалярные выходные данные сложно интерпретировать без контекстного анализа. Чтобы устранить эти ограничения, мы представляем R3 — новую структуру моделирования вознаграждений, которая не зависит от конкретных критериев, обобщается на различные измерения оценки и предоставляет интерпретируемые, обоснованные оценки. R3 обеспечивает более прозрачную и гибкую оценку языковых моделей, поддерживая устойчивое согласование с разнообразными человеческими ценностями и сценариями использования. Наши модели, данные и код доступны в открытом доступе по адресу https://github.com/rubricreward/r3.

English

Reward models are essential for aligning language model outputs with human preferences, yet existing approaches often lack both controllability and interpretability. These models are typically optimized for narrow objectives, limiting their generalizability to broader downstream tasks. Moreover, their scalar outputs are difficult to interpret without contextual reasoning. To address these limitations, we introduce R3, a novel reward modeling framework that is rubric-agnostic, generalizable across evaluation dimensions, and provides interpretable, reasoned score assignments. R3 enables more transparent and flexible evaluation of language models, supporting robust alignment with diverse human values and use cases. Our models, data, and code are available as open source at https://github.com/rubricreward/r3