Superare il Collo di Bottiglia dell'Esplorazione: Apprendimento per Rinforzo con Scaffolding basato su Rubriche per il Ragionamento Generale nei Modelli Linguistici di Grande Dimensione

Breaking the Exploration Bottleneck: Rubric-Scaffolded Reinforcement Learning for General LLM Reasoning

August 23, 2025

Autori: Yang Zhou, Sunzhu Li, Shunyu Liu, Wenkai Fang, Jiale Zhao, Jingwen Yang, Jianwei Lv, Kongcheng Zhang, Yihe Zhou, Hengtong Lu, Wei Chen, Yan Xie, Mingli Song

cs.AI

Abstract

I recenti progressi nei Modelli Linguistici di Grande Scala (LLMs) hanno evidenziato il potenziale dell'Apprendimento per Rinforzo (RL) nel favorire l'emergere di capacità di ragionamento. Nonostante i risultati incoraggianti, persiste un dilemma fondamentale: il miglioramento dell'RL dipende dall'apprendimento da campioni di alta qualità, ma l'esplorazione di tali campioni rimane limitata dalle intrinseche restrizioni degli LLMs. Ciò crea, di fatto, un ciclo indesiderato in cui ciò che non può essere esplorato non può essere appreso. In questo lavoro, proponiamo il Rubric-Scaffolded Reinforcement Learning (RuscaRL), un nuovo framework di scaffolding didattico progettato per superare il collo di bottiglia dell'esplorazione nel ragionamento generale degli LLMs. Nello specifico, RuscaRL introduce rubriche a checklist come (1) scaffolding esplicito per l'esplorazione durante la generazione di rollout, dove diverse rubriche vengono fornite come guida esterna all'interno delle istruzioni del compito per orientare risposte di alta qualità e diversificate. Questa guida viene gradualmente ridotta nel tempo, incoraggiando il modello a interiorizzare i modelli di ragionamento sottostanti; (2) ricompense verificabili per lo sfruttamento durante l'addestramento del modello, dove possiamo ottenere punteggi robusti di LLM-as-a-Judge utilizzando le rubriche come riferimento, consentendo un RL efficace su compiti di ragionamento generale. Esperimenti estensivi dimostrano la superiorità del RuscaRL proposto su vari benchmark, espandendo efficacemente i confini del ragionamento sotto la valutazione best-of-N. In particolare, RuscaRL incrementa significativamente Qwen-2.5-7B-Instruct da 23.6 a 50.3 su HealthBench-500, superando GPT-4.1. Inoltre, la nostra variante fine-tuned su Qwen3-30B-A3B-Instruct raggiunge 61.1 su HealthBench-500, superando i principali LLMs, incluso OpenAI-o3.

English

Recent advances in Large Language Models (LLMs) have underscored the potential of Reinforcement Learning (RL) to facilitate the emergence of reasoning capabilities. Despite the encouraging results, a fundamental dilemma persists as RL improvement relies on learning from high-quality samples, yet the exploration for such samples remains bounded by the inherent limitations of LLMs. This, in effect, creates an undesirable cycle in which what cannot be explored cannot be learned. In this work, we propose Rubric-Scaffolded Reinforcement Learning (RuscaRL), a novel instructional scaffolding framework designed to break the exploration bottleneck for general LLM reasoning. Specifically, RuscaRL introduces checklist-style rubrics as (1) explicit scaffolding for exploration during rollout generation, where different rubrics are provided as external guidance within task instructions to steer diverse high-quality responses. This guidance is gradually decayed over time, encouraging the model to internalize the underlying reasoning patterns; (2) verifiable rewards for exploitation during model training, where we can obtain robust LLM-as-a-Judge scores using rubrics as references, enabling effective RL on general reasoning tasks. Extensive experiments demonstrate the superiority of the proposed RuscaRL across various benchmarks, effectively expanding reasoning boundaries under the best-of-N evaluation. Notably, RuscaRL significantly boosts Qwen-2.5-7B-Instruct from 23.6 to 50.3 on HealthBench-500, surpassing GPT-4.1. Furthermore, our fine-tuned variant on Qwen3-30B-A3B-Instruct achieves 61.1 on HealthBench-500, outperforming leading LLMs including OpenAI-o3.