Franchir le goulet d'étranglement de l'exploration : Apprentissage par renforcement guidé par grille d'évaluation pour le raisonnement général des LLM

papers.abstract

Les récentes avancées dans les modèles de langage à grande échelle (LLMs) ont mis en évidence le potentiel de l'apprentissage par renforcement (RL) pour faciliter l'émergence de capacités de raisonnement. Malgré les résultats encourageants, un dilemme fondamental persiste : l'amélioration de la RL repose sur l'apprentissage à partir d'échantillons de haute qualité, mais l'exploration de tels échantillons reste limitée par les contraintes inhérentes des LLMs. Cela crée, en effet, un cycle indésirable dans lequel ce qui ne peut être exploré ne peut être appris. Dans ce travail, nous proposons le Rubric-Scaffolded Reinforcement Learning (RuscaRL), un nouveau cadre d'échafaudage pédagogique conçu pour surmonter le goulot d'étranglement de l'exploration dans le raisonnement général des LLMs. Plus précisément, RuscaRL introduit des grilles d'évaluation de type checklist comme (1) un échafaudage explicite pour l'exploration lors de la génération de déploiements, où différentes grilles sont fournies comme guide externe dans les instructions de tâches pour orienter des réponses diversifiées et de haute qualité. Ce guide est progressivement réduit au fil du temps, encourageant le modèle à internaliser les schémas de raisonnement sous-jacents ; (2) des récompenses vérifiables pour l'exploitation lors de l'entraînement du modèle, où nous pouvons obtenir des scores robustes de LLM-as-a-Judge en utilisant les grilles comme références, permettant une RL efficace sur des tâches de raisonnement général. Des expériences approfondies démontrent la supériorité du RuscaRL proposé sur divers benchmarks, élargissant efficacement les frontières du raisonnement sous l'évaluation best-of-N. Notamment, RuscaRL améliore significativement Qwen-2.5-7B-Instruct de 23.6 à 50.3 sur HealthBench-500, surpassant GPT-4.1. De plus, notre variante fine-tunée sur Qwen3-30B-A3B-Instruct atteint 61.1 sur HealthBench-500, surpassant les LLMs leaders, y compris OpenAI-o3.

English

Recent advances in Large Language Models (LLMs) have underscored the potential of Reinforcement Learning (RL) to facilitate the emergence of reasoning capabilities. Despite the encouraging results, a fundamental dilemma persists as RL improvement relies on learning from high-quality samples, yet the exploration for such samples remains bounded by the inherent limitations of LLMs. This, in effect, creates an undesirable cycle in which what cannot be explored cannot be learned. In this work, we propose Rubric-Scaffolded Reinforcement Learning (RuscaRL), a novel instructional scaffolding framework designed to break the exploration bottleneck for general LLM reasoning. Specifically, RuscaRL introduces checklist-style rubrics as (1) explicit scaffolding for exploration during rollout generation, where different rubrics are provided as external guidance within task instructions to steer diverse high-quality responses. This guidance is gradually decayed over time, encouraging the model to internalize the underlying reasoning patterns; (2) verifiable rewards for exploitation during model training, where we can obtain robust LLM-as-a-Judge scores using rubrics as references, enabling effective RL on general reasoning tasks. Extensive experiments demonstrate the superiority of the proposed RuscaRL across various benchmarks, effectively expanding reasoning boundaries under the best-of-N evaluation. Notably, RuscaRL significantly boosts Qwen-2.5-7B-Instruct from 23.6 to 50.3 on HealthBench-500, surpassing GPT-4.1. Furthermore, our fine-tuned variant on Qwen3-30B-A3B-Instruct achieves 61.1 on HealthBench-500, outperforming leading LLMs including OpenAI-o3.

Franchir le goulet d'étranglement de l'exploration : Apprentissage par renforcement guidé par grille d'évaluation pour le raisonnement général des LLM

Breaking the Exploration Bottleneck: Rubric-Scaffolded Reinforcement Learning for General LLM Reasoning

papers.abstract

Support