JudgeRLVR: Eerst Beoordelen, Dan Genereren voor Efficiënt Redeneren

JudgeRLVR: Judge First, Generate Second for Efficient Reasoning

January 13, 2026

Auteurs: Jiangshan Duo, Hanyu Li, Hailin Zhang, Yudong Wang, Sujian Li, Liang Zhao

cs.AI

Samenvatting

Versterkend Leren met Verifieerbare Beloningen (RLVR) is een standaardparadigma geworden voor redeneren in grote taalmodelen. Optimalisatie uitsluitend voor de juistheid van het eindantwoord drijft modellen echter vaak naar doelloze, breedsprakige verkenning, waarbij ze vertrouwen op uitputtende trial-and-error-tactieken in plaats van gestructureerde planning om oplossingen te bereiken. Hoewel heuristische beperkingen zoals lengtestraffen breedsprakigheid kunnen verminderen, snoeien ze vaak essentiële redeneerstappen af, wat een moeilijke afweging creëert tussen efficiëntie en verifieerbaarheid. In dit artikel beargumenteren we dat onderscheidend vermogen een voorwaarde is voor efficiënte generatie: door te leren valide oplossingen te onderscheiden, kan een model een begeleidingssignaal internaliseren dat de zoekruimte uitdunt. Wij stellen JudgeRLVR voor, een tweefasen paradigma van eerst beoordelen, dan genereren. In de eerste fase trainen we het model om oplossingsreacties met verifieerbare antwoorden te beoordelen. In de tweede fase fine-tunen we hetzelfde model met standaard genererend RLVR, geïnitialiseerd vanuit de beoordelingsfase. Vergeleken met standaard RLVR met dezelfde wiskundige trainingsdata, bereikt JudgeRLVR een betere kwaliteit-efficiëntie-afweging voor Qwen3-30B-A3B: voor domeininterne wiskunde levert het ongeveer +3,7 punten gemiddelde nauwkeurigheidswinst op met -42% gemiddelde generatielengte; voor domeinexterne benchmarks levert het ongeveer +4,5 punten gemiddelde nauwkeurigheidsverbetering, wat een verbeterde generalisatie aantoont.

English

Reinforcement Learning with Verifiable Rewards (RLVR) has become a standard paradigm for reasoning in Large Language Models. However, optimizing solely for final-answer correctness often drives models into aimless, verbose exploration, where they rely on exhaustive trial-and-error tactics rather than structured planning to reach solutions. While heuristic constraints like length penalties can reduce verbosity, they often truncate essential reasoning steps, creating a difficult trade-off between efficiency and verification. In this paper, we argue that discriminative capability is a prerequisite for efficient generation: by learning to distinguish valid solutions, a model can internalize a guidance signal that prunes the search space. We propose JudgeRLVR, a two-stage judge-then-generate paradigm. In the first stage, we train the model to judge solution responses with verifiable answers. In the second stage, we fine-tune the same model with vanilla generating RLVR initialized from the judge. Compared to Vanilla RLVR using the same math-domain training data, JudgeRLVR achieves a better quality--efficiency trade-off for Qwen3-30B-A3B: on in-domain math, it delivers about +3.7 points average accuracy gain with -42\% average generation length; on out-of-domain benchmarks, it delivers about +4.5 points average accuracy improvement, demonstrating enhanced generalization.