Beoordeling van de redeneervaardigheid van LLM's als beoordelaars in niet-verifieerbare post-training van LLM's
Examining Reasoning LLMs-as-Judges in Non-Verifiable LLM Post-Training
March 12, 2026
Auteurs: Yixin Liu, Yue Yu, DiJia Su, Sid Wang, Xuewei Wang, Song Jiang, Bo Liu, Arman Cohan, Yuandong Tian, Zhengxing Chen
cs.AI
Samenvatting
Redeneer-LLM's-als-beoordelaars, die kunnen profiteren van schaling tijdens inferentie, bieden een veelbelovend pad om het succes van redeneermodellen uit te breiden naar niet-verifieerbare domeinen waar de correctheid/kwaliteit van de output niet direct gecontroleerd kan worden. Echter, hoewel redeneerbeoordelaars betere prestaties hebben getoond op statische evaluatiebenchmarks, is hun effectiviteit in daadwerkelijke policy-training nog niet systematisch onderzocht. Daarom voeren we een rigoureus onderzoek uit om de daadwerkelijke impact van niet-redeneer- en redeneerbeoordelaars in op reinforcement learning gebaseerde LLM-afstemming te onderzoeken. Onze gecontroleerde synthetische opzet, waarbij een "gouden-standaard"-beoordelaar (gpt-oss-120b) voorkeursannotaties verstrekt om kleinere beoordelaars te trainen, onthult cruciale verschillen tussen niet-redeneer- en redeneerbeoordelaars: niet-redeneerbeoordelaars leiden gemakkelijk tot reward hacking, terwijl redeneerbeoordelaars kunnen leiden tot policies die sterke prestaties bereiken wanneer geëvalueerd door de gouden-standaard-beoordelaar. Interessant genoeg ontdekken we dat de door redeneerbeoordelaars getrainde policies dergelijke sterke prestaties bereiken door te leren om zeer effectieve adversariële outputs te genereren die ook goed scoren op populaire benchmarks zoals Arena-Hard door andere LLM-beoordelaars te misleiden. In combinatie met onze verdere analyse benadrukt onze studie zowel belangrijke bevindingen als verbeterpunten voor de toepassing van (redeneer)LLM-beoordelaars in niet-verifieerbare LLM-natraining.
English
Reasoning LLMs-as-Judges, which can benefit from inference-time scaling, provide a promising path for extending the success of reasoning models to non-verifiable domains where the output correctness/quality cannot be directly checked. However, while reasoning judges have shown better performance on static evaluation benchmarks, their effectiveness in actual policy training has not been systematically examined. Therefore, we conduct a rigorous study to investigate the actual impact of non-reasoning and reasoning judges in reinforcement-learning-based LLM alignment. Our controlled synthetic setting, where a "gold-standard" judge (gpt-oss-120b) provides preference annotations to train smaller judges, reveals key differences between non-reasoning and reasoning judges: non-reasoning judges lead to reward hacking easily, while reasoning judges can lead to policies that achieve strong performance when evaluated by the gold-standard judge. Interestingly, we find that the reasoning-judge-trained policies achieve such strong performance by learning to generate highly effective adversarial outputs that can also score well on popular benchmarks such as Arena-Hard by deceiving other LLM-judges. Combined with our further analysis, our study highlights both important findings and room for improvements for applying (reasoning) LLM-judges in non-verifiable LLM post-training.