Het doorbreken van de verkenningsbeperking: Rubric-gestuurde versterkingsleren voor algemene LLM-redenering

Samenvatting

Recente ontwikkelingen in Large Language Models (LLMs) hebben het potentieel van Reinforcement Learning (RL) benadrukt om het ontstaan van redeneervaardigheden te faciliteren. Ondanks de bemoedigende resultaten blijft een fundamenteel dilemma bestaan, aangezien RL-verbetering afhankelijk is van leren van hoogwaardige voorbeelden, terwijl de exploratie van dergelijke voorbeelden beperkt blijft door de inherente beperkingen van LLMs. Dit creëert in feite een ongewenste cyclus waarin wat niet verkend kan worden, ook niet geleerd kan worden. In dit werk stellen we Rubric-Scaffolded Reinforcement Learning (RuscaRL) voor, een nieuw instructioneel steigersysteem ontworpen om de exploratiebottleneck voor algemeen LLM-redeneren te doorbreken. Specifiek introduceert RuscaRL checklist-stijl rubrics als (1) expliciete steigers voor exploratie tijdens het genereren van rollouts, waarbij verschillende rubrics worden aangeboden als externe begeleiding binnen taakinstructies om diverse hoogwaardige reacties te sturen. Deze begeleiding wordt geleidelijk afgebouwd, waardoor het model wordt aangemoedigd de onderliggende redeneerpatronen te internaliseren; (2) verifieerbare beloningen voor exploitatie tijdens modeltraining, waarbij we robuuste LLM-as-a-Judge-scores kunnen verkrijgen door rubrics als referentie te gebruiken, wat effectieve RL op algemene redeneertaken mogelijk maakt. Uitgebreide experimenten tonen de superioriteit van het voorgestelde RuscaRL aan over verschillende benchmarks, waarbij de redeneergrenzen effectief worden uitgebreid onder de best-of-N-evaluatie. Opmerkelijk is dat RuscaRL Qwen-2.5-7B-Instruct aanzienlijk verbetert van 23.6 naar 50.3 op HealthBench-500, wat GPT-4.1 overtreft. Bovendien behaalt onze fijn afgestelde variant op Qwen3-30B-A3B-Instruct een score van 61.1 op HealthBench-500, wat toonaangevende LLMs, waaronder OpenAI-o3, overtreft.

English

Recent advances in Large Language Models (LLMs) have underscored the potential of Reinforcement Learning (RL) to facilitate the emergence of reasoning capabilities. Despite the encouraging results, a fundamental dilemma persists as RL improvement relies on learning from high-quality samples, yet the exploration for such samples remains bounded by the inherent limitations of LLMs. This, in effect, creates an undesirable cycle in which what cannot be explored cannot be learned. In this work, we propose Rubric-Scaffolded Reinforcement Learning (RuscaRL), a novel instructional scaffolding framework designed to break the exploration bottleneck for general LLM reasoning. Specifically, RuscaRL introduces checklist-style rubrics as (1) explicit scaffolding for exploration during rollout generation, where different rubrics are provided as external guidance within task instructions to steer diverse high-quality responses. This guidance is gradually decayed over time, encouraging the model to internalize the underlying reasoning patterns; (2) verifiable rewards for exploitation during model training, where we can obtain robust LLM-as-a-Judge scores using rubrics as references, enabling effective RL on general reasoning tasks. Extensive experiments demonstrate the superiority of the proposed RuscaRL across various benchmarks, effectively expanding reasoning boundaries under the best-of-N evaluation. Notably, RuscaRL significantly boosts Qwen-2.5-7B-Instruct from 23.6 to 50.3 on HealthBench-500, surpassing GPT-4.1. Furthermore, our fine-tuned variant on Qwen3-30B-A3B-Instruct achieves 61.1 on HealthBench-500, outperforming leading LLMs including OpenAI-o3.

Het doorbreken van de verkenningsbeperking: Rubric-gestuurde versterkingsleren voor algemene LLM-redenering

Breaking the Exploration Bottleneck: Rubric-Scaffolded Reinforcement Learning for General LLM Reasoning

Samenvatting

Support