Переосмысление моделей вознаграждения для масштабирования в условиях тестирования в мультидоменных средах

Аннотация

Надежность крупных языковых моделей (LLM) при масштабировании во время тестирования часто оценивается с помощью внешних верификаторов или моделей вознаграждения, которые отличают корректные рассуждения от ошибочной логики. Предыдущие работы обычно предполагают, что модели вознаграждения за процесс (PRM), которые оценивают каждый промежуточный шаг рассуждений, превосходят модели вознаграждения за результат (ORM), которые оценивают только конечный ответ. Это мнение основано в основном на данных из узких областей, близких к математике. Мы представляем первое унифицированное исследование четырех вариантов моделей вознаграждения: дискриминативных ORM и PRM (\DisORM, \DisPRM) и генеративных ORM и PRM (\GenORM, \GenPRM) в 14 различных областях. Вопреки общепринятому мнению, мы обнаруживаем, что (i) \DisORM работает наравне с \DisPRM, (ii) \GenPRM не является конкурентоспособной, и (iii) в целом \GenORM демонстрирует наибольшую устойчивость, показывая значительный и стабильный прирост во всех протестированных областях. Мы связываем это с пошаговой оценкой в стиле PRM, которая наследует шум меток от автоматической разметки LLM и испытывает трудности с оценкой длинных цепочек рассуждений, включая те, которые содержат самокорректирующиеся рассуждения. Наш теоретический анализ показывает, что пошаговая агрегация усугубляет ошибки по мере увеличения длины рассуждений, и наши эмпирические наблюдения подтверждают этот эффект. Эти результаты ставят под сомнение преобладающее предположение о том, что детализированный контроль всегда лучше, и поддерживают генеративную проверку результата для многодоменного применения. Мы публикуем наш код, наборы данных и контрольные точки по адресу \url{https://github.com/db-Lee/Multi-RM}, чтобы способствовать дальнейшим исследованиям в многодоменных условиях.

English

The reliability of large language models (LLMs) during test-time scaling is often assessed with external verifiers or reward models that distinguish correct reasoning from flawed logic. Prior work generally assumes that process reward models (PRMs), which score every intermediate reasoning step, outperform outcome reward models (ORMs) that assess only the final answer. This view is based mainly on evidence from narrow, math-adjacent domains. We present the first unified evaluation of four reward model variants, discriminative ORM and PRM (\DisORM, \DisPRM) and generative ORM and PRM (\GenORM, \GenPRM), across 14 diverse domains. Contrary to conventional wisdom, we find that (i) \DisORM performs on par with \DisPRM, (ii) \GenPRM is not competitive, and (iii) overall, \GenORM is the most robust, yielding significant and consistent gains across every tested domain. We attribute this to PRM-style stepwise scoring, which inherits label noise from LLM auto-labeling and has difficulty evaluating long reasoning trajectories, including those involving self-correcting reasoning. Our theoretical analysis shows that step-wise aggregation compounds errors as reasoning length grows, and our empirical observations confirm this effect. These findings challenge the prevailing assumption that fine-grained supervision is always better and support generative outcome verification for multi-domain deployment. We publicly release our code, datasets, and checkpoints at https://github.com/db-Lee/Multi-RM{\small\texttt{https://github.com/db-Lee/Multi-RM}} to facilitate future research in multi-domain settings.

Переосмысление моделей вознаграждения для масштабирования в условиях тестирования в мультидоменных средах

Rethinking Reward Models for Multi-Domain Test-Time Scaling

Аннотация

Support