RUBRIC-ARROW: Чередующееся поточечное моделирование вознаграждения на основе рубрик для пост-тренировки LLM в неверифицируемых областях

Аннотация

Поточечное моделирование вознаграждения предоставляет критические сигналы для пост-обучения LLM, однако сталкивается с трудностями при абсолютной оценке в субъективных, непроверяемых условиях. Рубрикационные методы решают эту проблему путём разложения оценки на явные критерии, но существующие подходы обычно зависят от передовых LLM и страдают от ничьих, вызванных жёсткой булевой агрегацией. Мы представляем RUBRIC-ARROW — попеременную структуру, которая совместно обучает генератор рубрик и судью, обусловленного рубриками, причём этап RL (обучения с подкреплением) использует только данные о парных предпочтениях. Наш метод объединяет вероятностное правило подсчёта баллов, снижающее количество ничьих, с фазово-специфичными вознаграждениями на основе предпочтений и попеременной схемой GRPO, которые совместно обучают поточечный оценщик. Обширные эксперименты показывают, что RUBRIC-ARROW достигает конкурентной точности моделирования вознаграждения и обеспечивает устойчивый прирост при последующем дообучении политики.

English

Pointwise reward modeling offers critical signals for LLM post-training, yet struggles with absolute scoring in subjective, non-verifiable settings. Rubric-based methods address this by decomposing evaluation into explicit criteria, but existing approaches typically depend on frontier LLMs and suffer from ties caused by hard Boolean aggregation. We present RUBRIC-ARROW, an alternating framework that jointly trains a rubric generator and a rubric-conditioned judge, with its RL stage using only pairwise preference data. Our method couples a probability-based scoring rule that reduces ties with phase-specific preference-based rewards and an alternating GRPO scheme that together train the pointwise evaluator. Extensive experiments show that RUBRIC-ARROW achieves competitive reward-modeling accuracy and yields consistent gains for downstream policy post-training.