JudgeRLVR : Juger d'abord, Générer ensuite pour un Raisonnement Efficace
JudgeRLVR: Judge First, Generate Second for Efficient Reasoning
January 13, 2026
papers.authors: Jiangshan Duo, Hanyu Li, Hailin Zhang, Yudong Wang, Sujian Li, Liang Zhao
cs.AI
papers.abstract
L'apprentissage par renforcement avec récompenses vérifiables (RLVR) est devenu un paradigme standard pour le raisonnement dans les grands modèles de langage. Cependant, l'optimisation uniquement pour l'exactitude de la réponse finale pousse souvent les modèles vers une exploration vague et verbeuse, où ils s'appuient sur des tactiques d'essai-erreur exhaustives plutôt que sur une planification structurée pour parvenir aux solutions. Bien que des contraintes heuristiques comme les pénalités de longueur puissent réduire la verbosité, elles tronquent souvent des étapes de raisonnement essentielles, créant un compromis difficile entre l'efficacité et la vérification. Dans cet article, nous soutenons que la capacité discriminative est un prérequis pour une génération efficace : en apprenant à distinguer les solutions valides, un modèle peut internaliser un signal de guidage qui élagage l'espace de recherche. Nous proposons JudgeRLVR, un paradigme en deux étapes « juger puis générer ». Dans la première étape, nous entraînons le modèle à juger des réponses-solutions avec des réponses vérifiables. Dans la deuxième étape, nous affinons le même modèle avec un RLVR génératif standard initialisé à partir du juge. Par rapport au RLVR standard utilisant les mêmes données d'entraînement du domaine mathématique, JudgeRLVR atteint un meilleur compromis qualité-efficacité pour Qwen3-30B-A3B : sur les mathématiques du domaine d'entraînement, il offre un gain de précision moyen d'environ +3,7 points avec une longueur de génération moyenne réduite de 42 % ; sur des benchmarks hors domaine, il offre une amélioration de précision moyenne d'environ +4,5 points, démontrant une généralisation accrue.
English
Reinforcement Learning with Verifiable Rewards (RLVR) has become a standard paradigm for reasoning in Large Language Models. However, optimizing solely for final-answer correctness often drives models into aimless, verbose exploration, where they rely on exhaustive trial-and-error tactics rather than structured planning to reach solutions. While heuristic constraints like length penalties can reduce verbosity, they often truncate essential reasoning steps, creating a difficult trade-off between efficiency and verification. In this paper, we argue that discriminative capability is a prerequisite for efficient generation: by learning to distinguish valid solutions, a model can internalize a guidance signal that prunes the search space. We propose JudgeRLVR, a two-stage judge-then-generate paradigm. In the first stage, we train the model to judge solution responses with verifiable answers. In the second stage, we fine-tune the same model with vanilla generating RLVR initialized from the judge. Compared to Vanilla RLVR using the same math-domain training data, JudgeRLVR achieves a better quality--efficiency trade-off for Qwen3-30B-A3B: on in-domain math, it delivers about +3.7 points average accuracy gain with -42\% average generation length; on out-of-domain benchmarks, it delivers about +4.5 points average accuracy improvement, demonstrating enhanced generalization.