Evaluación del Razonamiento en LLMs como Jueces en el Post-Entrenamiento No Verificable de Modelos de Lenguaje
Examining Reasoning LLMs-as-Judges in Non-Verifiable LLM Post-Training
March 12, 2026
Autores: Yixin Liu, Yue Yu, DiJia Su, Sid Wang, Xuewei Wang, Song Jiang, Bo Liu, Arman Cohan, Yuandong Tian, Zhengxing Chen
cs.AI
Resumen
Los modelos de razonamiento como jueces (LLMs-as-Judges), que pueden beneficiarse del escalado en tiempo de inferencia, ofrecen un camino prometedor para extender el éxito de los modelos de razonamiento a dominios no verificables donde la corrección/calidad de la salida no puede comprobarse directamente. Sin embargo, aunque los jueces de razonamiento han mostrado un mejor rendimiento en benchmarks de evaluación estática, su efectividad en el entrenamiento real de políticas no ha sido examinada sistemáticamente. Por lo tanto, realizamos un estudio riguroso para investigar el impacto real de los jueces sin razonamiento y con razonamiento en la alineación de LLMs basada en aprendizaje por refuerzo. Nuestro entorno sintético controlado, donde un juez "estándar de oro" (gpt-oss-120b) proporciona anotaciones de preferencia para entrenar jueces más pequeños, revela diferencias clave entre ambos tipos: los jueces sin razonamiento conducen fácilmente a la piratería de recompensas, mientras que los jueces de razonamiento pueden generar políticas que logran un fuerte rendimiento cuando son evaluadas por el juez estándar de oro. Curiosamente, encontramos que las políticas entrenadas con jueces de razonamiento logran este alto rendimiento aprendiendo a generar salidas adversarias altamente efectivas que también pueden puntuar bien en benchmarks populares como Arena-Hard, engañando a otros jueces basados en LLMs. Combinado con nuestro análisis posterior, nuestro estudio destaca tanto hallazgos importantes como margen de mejora para la aplicación de jueces basados en LLMs (de razonamiento) en el post-entrenamiento de LLMs no verificables.
English
Reasoning LLMs-as-Judges, which can benefit from inference-time scaling, provide a promising path for extending the success of reasoning models to non-verifiable domains where the output correctness/quality cannot be directly checked. However, while reasoning judges have shown better performance on static evaluation benchmarks, their effectiveness in actual policy training has not been systematically examined. Therefore, we conduct a rigorous study to investigate the actual impact of non-reasoning and reasoning judges in reinforcement-learning-based LLM alignment. Our controlled synthetic setting, where a "gold-standard" judge (gpt-oss-120b) provides preference annotations to train smaller judges, reveals key differences between non-reasoning and reasoning judges: non-reasoning judges lead to reward hacking easily, while reasoning judges can lead to policies that achieve strong performance when evaluated by the gold-standard judge. Interestingly, we find that the reasoning-judge-trained policies achieve such strong performance by learning to generate highly effective adversarial outputs that can also score well on popular benchmarks such as Arena-Hard by deceiving other LLM-judges. Combined with our further analysis, our study highlights both important findings and room for improvements for applying (reasoning) LLM-judges in non-verifiable LLM post-training.