Исследование способности языковых моделей к рассуждению в рамках метода «LLM-как-судьи» при непроверяемой пост-обработке языковых моделей

Examining Reasoning LLMs-as-Judges in Non-Verifiable LLM Post-Training

March 12, 2026

Авторы: Yixin Liu, Yue Yu, DiJia Su, Sid Wang, Xuewei Wang, Song Jiang, Bo Liu, Arman Cohan, Yuandong Tian, Zhengxing Chen

cs.AI

Аннотация

Рассудочные языковые модели в роли судей, способные использовать масштабирование на этапе вывода, открывают перспективный путь для распространения успеха рассудочных моделей на неверифицируемые области, где корректность/качество выходных данных невозможно проверить напрямую. Однако, хотя рассудочные судьи продемонстрировали лучшую производительность на статических бенчмарках оценки, их эффективность в реальном обучении политик не была систематически исследована. Поэтому мы проводим строгое исследование для изучения фактического влияния нерассудочных и рассудочных судей на выравнивание языковых моделей, основанное на обучении с подкреплением. Наша контролируемая синтетическая установка, в которой «золотой стандарт» судьи (gpt-oss-120b) предоставляет аннотации предпочтений для обучения меньших судей, выявляет ключевые различия между ними: нерассудочные судьи легко приводят к взлому вознаграждения, тогда как рассудочные судьи могут приводить к политикам, которые демонстрируют высокую производительность при оценке золотым стандартом. Интересно, что мы обнаруживаем, что политики, обученные с рассудочными судьями, достигают такой высокой производительности, обучаясь генерировать высокоэффективные adversarial-выходы, которые также могут хорошо оцениваться на популярных бенчмарках, таких как Arena-Hard, обманывая других судей-моделей. В сочетании с нашим дальнейшим анализом, наше исследование подчеркивает как важные выводы, так и возможности для улучшения применения (рассудочных) судей-моделей в неверифицируемой пост-обработке языковых моделей.

English

Reasoning LLMs-as-Judges, which can benefit from inference-time scaling, provide a promising path for extending the success of reasoning models to non-verifiable domains where the output correctness/quality cannot be directly checked. However, while reasoning judges have shown better performance on static evaluation benchmarks, their effectiveness in actual policy training has not been systematically examined. Therefore, we conduct a rigorous study to investigate the actual impact of non-reasoning and reasoning judges in reinforcement-learning-based LLM alignment. Our controlled synthetic setting, where a "gold-standard" judge (gpt-oss-120b) provides preference annotations to train smaller judges, reveals key differences between non-reasoning and reasoning judges: non-reasoning judges lead to reward hacking easily, while reasoning judges can lead to policies that achieve strong performance when evaluated by the gold-standard judge. Interestingly, we find that the reasoning-judge-trained policies achieve such strong performance by learning to generate highly effective adversarial outputs that can also score well on popular benchmarks such as Arena-Hard by deceiving other LLM-judges. Combined with our further analysis, our study highlights both important findings and room for improvements for applying (reasoning) LLM-judges in non-verifiable LLM post-training.