JudgeRLVR: Juzgar Primero, Generar Después para un Razonamiento Eficiente

JudgeRLVR: Judge First, Generate Second for Efficient Reasoning

January 13, 2026

Autores: Jiangshan Duo, Hanyu Li, Hailin Zhang, Yudong Wang, Sujian Li, Liang Zhao

cs.AI

Resumen

El Aprendizaje por Refuerzo con Recompensas Verificables (RLVR) se ha convertido en un paradigma estándar para el razonamiento en Modelos de Lenguaje Grandes. Sin embargo, optimizar únicamente para la corrección de la respuesta final a menudo lleva a los modelos a una exploración verbosa y sin rumbo, donde dependen de tácticas exhaustivas de prueba y error en lugar de una planificación estructurada para alcanzar soluciones. Si bien restricciones heurísticas como las penalizaciones por longitud pueden reducir la verbosidad, a menudo truncan pasos de razonamiento esenciales, creando una difícil disyuntiva entre eficiencia y verificación. En este artículo, argumentamos que la capacidad discriminativa es un requisito previo para la generación eficiente: al aprender a distinguir soluciones válidas, un modelo puede internalizar una señal de guía que poda el espacio de búsqueda. Proponemos JudgeRLVR, un paradigma de dos etapas de juzgar-y-luego-generar. En la primera etapa, entrenamos al modelo para juzgar respuestas de solución con respuestas verificables. En la segunda etapa, afinamos el mismo modelo con RLVR de generación estándar, inicializado desde el 'juez'. En comparación con el RLVR estándar que utiliza los mismos datos de entrenamiento del dominio matemático, JudgeRLVR logra una mejor disyuntiva calidad-eficiencia para Qwen3-30B-A3B: en matemáticas dentro del dominio, ofrece una ganancia promedio de precisión de aproximadamente +3.7 puntos con una longitud de generación promedio un -42% menor; en benchmarks fuera del dominio, ofrece una mejora promedio de precisión de aproximadamente +4.5 puntos, demostrando una generalización mejorada.

English

Reinforcement Learning with Verifiable Rewards (RLVR) has become a standard paradigm for reasoning in Large Language Models. However, optimizing solely for final-answer correctness often drives models into aimless, verbose exploration, where they rely on exhaustive trial-and-error tactics rather than structured planning to reach solutions. While heuristic constraints like length penalties can reduce verbosity, they often truncate essential reasoning steps, creating a difficult trade-off between efficiency and verification. In this paper, we argue that discriminative capability is a prerequisite for efficient generation: by learning to distinguish valid solutions, a model can internalize a guidance signal that prunes the search space. We propose JudgeRLVR, a two-stage judge-then-generate paradigm. In the first stage, we train the model to judge solution responses with verifiable answers. In the second stage, we fine-tune the same model with vanilla generating RLVR initialized from the judge. Compared to Vanilla RLVR using the same math-domain training data, JudgeRLVR achieves a better quality--efficiency trade-off for Qwen3-30B-A3B: on in-domain math, it delivers about +3.7 points average accuracy gain with -42\% average generation length; on out-of-domain benchmarks, it delivers about +4.5 points average accuracy improvement, demonstrating enhanced generalization.