Durchbrechen des Explorationsengpasses: Rubrik-gestütztes bestärkendes Lernen für allgemeines LLM-Denken

papers.abstract

Jüngste Fortschritte bei großen Sprachmodellen (LLMs) haben das Potenzial von Reinforcement Learning (RL) zur Förderung von Denkfähigkeiten hervorgehoben. Trotz der ermutigenden Ergebnisse besteht ein grundlegendes Dilemma darin, dass die Verbesserung von RL auf dem Lernen aus hochwertigen Beispielen beruht, die Exploration solcher Beispiele jedoch durch die inhärenten Grenzen von LLMs begrenzt bleibt. Dies schafft effektiv einen unerwünschten Kreislauf, in dem das, was nicht erkundet werden kann, auch nicht gelernt werden kann. In dieser Arbeit schlagen wir Rubric-Scaffolded Reinforcement Learning (RuscaRL) vor, ein neuartiges instruktionales Gerüst, das entwickelt wurde, um den Engpass bei der Exploration für allgemeines LLM-Denken zu überwinden. Konkret führt RuscaRL Checklisten-artige Bewertungsraster als (1) explizites Gerüst für die Exploration während der Rollout-Generierung ein, wobei verschiedene Bewertungsraster als externe Anleitung innerhalb von Aufgabenanweisungen bereitgestellt werden, um vielfältige hochwertige Antworten zu steuern. Diese Anleitung wird im Laufe der Zeit schrittweise reduziert, um das Modell dazu zu ermutigen, die zugrunde liegenden Denkmuster zu internalisieren; (2) überprüfbare Belohnungen für die Ausnutzung während des Modelltrainings, bei denen wir robuste LLM-as-a-Judge-Bewertungen unter Verwendung von Bewertungsrastern als Referenzen erhalten können, was effektives RL bei allgemeinen Denkaufgaben ermöglicht. Umfangreiche Experimente demonstrieren die Überlegenheit des vorgeschlagenen RuscaRL über verschiedene Benchmarks hinweg und erweitern effektiv die Denkgrenzen unter der Best-of-N-Bewertung. Bemerkenswerterweise steigert RuscaRL Qwen-2.5-7B-Instruct von 23,6 auf 50,3 auf HealthBench-500 und übertrifft damit GPT-4.1. Darüber hinaus erreicht unsere feinabgestimmte Variante auf Qwen3-30B-A3B-Instruct 61,1 auf HealthBench-500 und übertrifft damit führende LLMs, einschließlich OpenAI-o3.

English

Recent advances in Large Language Models (LLMs) have underscored the potential of Reinforcement Learning (RL) to facilitate the emergence of reasoning capabilities. Despite the encouraging results, a fundamental dilemma persists as RL improvement relies on learning from high-quality samples, yet the exploration for such samples remains bounded by the inherent limitations of LLMs. This, in effect, creates an undesirable cycle in which what cannot be explored cannot be learned. In this work, we propose Rubric-Scaffolded Reinforcement Learning (RuscaRL), a novel instructional scaffolding framework designed to break the exploration bottleneck for general LLM reasoning. Specifically, RuscaRL introduces checklist-style rubrics as (1) explicit scaffolding for exploration during rollout generation, where different rubrics are provided as external guidance within task instructions to steer diverse high-quality responses. This guidance is gradually decayed over time, encouraging the model to internalize the underlying reasoning patterns; (2) verifiable rewards for exploitation during model training, where we can obtain robust LLM-as-a-Judge scores using rubrics as references, enabling effective RL on general reasoning tasks. Extensive experiments demonstrate the superiority of the proposed RuscaRL across various benchmarks, effectively expanding reasoning boundaries under the best-of-N evaluation. Notably, RuscaRL significantly boosts Qwen-2.5-7B-Instruct from 23.6 to 50.3 on HealthBench-500, surpassing GPT-4.1. Furthermore, our fine-tuned variant on Qwen3-30B-A3B-Instruct achieves 61.1 on HealthBench-500, outperforming leading LLMs including OpenAI-o3.

Durchbrechen des Explorationsengpasses: Rubrik-gestütztes bestärkendes Lernen für allgemeines LLM-Denken

Breaking the Exploration Bottleneck: Rubric-Scaffolded Reinforcement Learning for General LLM Reasoning

papers.abstract

Support