OpenRubrics: К масштабируемой генерации синтетических критериев для моделирования вознаграждений и согласования языковых моделей

OpenRubrics: Towards Scalable Synthetic Rubric Generation for Reward Modeling and LLM Alignment

October 9, 2025

Авторы: Tianci Liu, Ran Xu, Tony Yu, Ilgee Hong, Carl Yang, Tuo Zhao, Haoyu Wang

cs.AI

Аннотация

Моделирование вознаграждений лежит в основе обучения с подкреплением на основе человеческой обратной связи (RLHF), однако большинство существующих моделей вознаграждений полагаются на скалярные или парные оценки, которые не учитывают многогранность человеческих предпочтений. В последних исследованиях изучались подходы, использующие рубрики как вознаграждения (RaR), где структурированные критерии на естественном языке охватывают несколько аспектов качества ответа. Однако создание рубрик, которые одновременно надежны и масштабируемы, остается ключевой задачей. В данной работе мы представляем OpenRubrics — разнообразную и масштабируемую коллекцию пар (запрос, рубрика) для обучения моделей генерации рубрик и моделей вознаграждений на их основе. Для получения дискриминативных и всесторонних сигналов оценки мы вводим Контрастную генерацию рубрик (CRG), которая выводит как жесткие правила (явные ограничения), так и принципы (неявные качества), сравнивая предпочтительные и отвергнутые ответы. Мы дополнительно повышаем надежность, обеспечивая согласованность меток предпочтений с помощью выборки с отклонением для удаления зашумленных рубрик. На нескольких бенчмарках моделирования вознаграждений наша модель вознаграждений на основе рубрик, Rubric-RM, превосходит сильные базовые модели сопоставимого размера на 6,8%. Эти улучшения переносятся на модели политик в задачах следования инструкциям и биомедицинских бенчмарках. Наши результаты показывают, что рубрики предоставляют масштабируемые сигналы согласования, сокращая разрыв между дорогостоящей человеческой оценкой и автоматизированным моделированием вознаграждений, открывая новый принцип-ориентированный подход для согласования крупных языковых моделей (LLM).

English

Reward modeling lies at the core of reinforcement learning from human feedback (RLHF), yet most existing reward models rely on scalar or pairwise judgments that fail to capture the multifaceted nature of human preferences. Recent studies have explored rubrics-as-rewards (RaR) that uses structured natural language criteria that capture multiple dimensions of response quality. However, producing rubrics that are both reliable and scalable remains a key challenge. In this work, we introduce OpenRubrics, a diverse, large-scale collection of (prompt, rubric) pairs for training rubric-generation and rubric-based reward models. To elicit discriminative and comprehensive evaluation signals, we introduce Contrastive Rubric Generation (CRG), which derives both hard rules (explicit constraints) and principles (implicit qualities) by contrasting preferred and rejected responses. We further improve reliability by enforcing preference-label consistency via rejection sampling to remove noisy rubrics. Across multiple reward-modeling benchmarks, our rubric-based reward model, Rubric-RM, surpasses strong size-matched baselines by 6.8%. These gains transfer to policy models on instruction-following and biomedical benchmarks. Our results show that rubrics provide scalable alignment signals that narrow the gap between costly human evaluation and automated reward modeling, enabling a new principle-driven paradigm for LLM alignment.