JudgeRLVR: Erst Urteilen, dann Generieren für effizientes Schließen

JudgeRLVR: Judge First, Generate Second for Efficient Reasoning

January 13, 2026

papers.authors: Jiangshan Duo, Hanyu Li, Hailin Zhang, Yudong Wang, Sujian Li, Liang Zhao

cs.AI

papers.abstract

Reinforcement Learning with Verifiable Rewards (RLVR) hat sich zu einem Standardparadigma für das Schließen in Large Language Models entwickelt. Die Optimierung allein auf die Korrektheit der Endantwort führt Modelle jedoch oft in eine ziellose, weitschweifige Exploration, bei der sie sich auf exhaustive Trial-and-Error-Taktiken anstelle von strukturierter Planung zur Lösungsfindung verlassen. Während heuristische Einschränkungen wie Längenbestrafungen Weitschweifigkeit reduzieren können, kürzen sie oft essentielle Denkschritte ab, was zu einem schwierigen Kompromiss zwischen Effizienz und Verifizierbarkeit führt. In diesem Artikel argumentieren wir, dass diskriminative Fähigkeit eine Voraussetzung für effiziente Generierung ist: Indem ein Modell lernt, gültige Lösungen zu unterscheiden, kann es ein Führungssignal internalisieren, das den Suchraum beschneidet. Wir schlagen JudgeRLVR vor, ein Zwei-Stufen-Paradigma des Urteilens-und-dann-Generierens. In der ersten Stufe trainieren wir das Modell darauf, Lösungsantworten mit verifizierbaren Ergebnissen zu beurteilen. In der zweiten Stufe feintunen wir dasselbe Modell mit herkömmlichem, generierendem RLVR, initialisiert vom Urteilsmodell. Im Vergleich zu herkömmlichem RLVR unter Verwendung derselben Mathematik-Trainingsdaten erzielt JudgeRLVR für Qwen3-30B-A3B einen besseren Kompromiss zwischen Qualität und Effizienz: Im domäneninternen Mathematikbereich erreicht es einen durchschnittlichen Genauigkeitsgewinn von etwa +3,7 Punkten bei einer um -42 % reduzierten durchschnittlichen Generierungslänge; in domänenexternen Benchmarks zeigt es eine durchschnittliche Genauigkeitsverbesserung von etwa +4,5 Punkten, was eine verbesserte Generalisierungsfähigkeit demonstriert.

English

Reinforcement Learning with Verifiable Rewards (RLVR) has become a standard paradigm for reasoning in Large Language Models. However, optimizing solely for final-answer correctness often drives models into aimless, verbose exploration, where they rely on exhaustive trial-and-error tactics rather than structured planning to reach solutions. While heuristic constraints like length penalties can reduce verbosity, they often truncate essential reasoning steps, creating a difficult trade-off between efficiency and verification. In this paper, we argue that discriminative capability is a prerequisite for efficient generation: by learning to distinguish valid solutions, a model can internalize a guidance signal that prunes the search space. We propose JudgeRLVR, a two-stage judge-then-generate paradigm. In the first stage, we train the model to judge solution responses with verifiable answers. In the second stage, we fine-tune the same model with vanilla generating RLVR initialized from the judge. Compared to Vanilla RLVR using the same math-domain training data, JudgeRLVR achieves a better quality--efficiency trade-off for Qwen3-30B-A3B: on in-domain math, it delivers about +3.7 points average accuracy gain with -42\% average generation length; on out-of-domain benchmarks, it delivers about +4.5 points average accuracy improvement, demonstrating enhanced generalization.