Преодоление барьера исследования: обучение с подкреплением на основе рубрик для общих рассуждений в крупных языковых моделях

Аннотация

Последние достижения в области больших языковых моделей (LLM) подчеркивают потенциал обучения с подкреплением (RL) для развития способностей к рассуждению. Несмотря на обнадеживающие результаты, сохраняется фундаментальная дилемма: улучшение RL зависит от обучения на высококачественных образцах, однако поиск таких образцов ограничен внутренними ограничениями LLM. Это создает нежелательный цикл, в котором то, что невозможно исследовать, невозможно и изучить. В данной работе мы предлагаем Rubric-Scaffolded Reinforcement Learning (RuscaRL), новый фреймворк инструкционного сопровождения, предназначенный для преодоления узких мест в исследовании для общего рассуждения LLM. В частности, RuscaRL вводит чеклисты в качестве (1) явного сопровождения для исследования в процессе генерации ответов, где различные чеклисты предоставляются как внешние указания в рамках инструкций задачи для направления разнообразных высококачественных ответов. Это сопровождение постепенно ослабляется со временем, побуждая модель усваивать базовые паттерны рассуждения; (2) проверяемых наград для использования в процессе обучения модели, где мы можем получить надежные оценки LLM-as-a-Judge, используя чеклисты в качестве эталонов, что позволяет эффективно применять RL для задач общего рассуждения. Многочисленные эксперименты демонстрируют превосходство предложенного RuscaRL на различных бенчмарках, эффективно расширяя границы рассуждения при оценке best-of-N. В частности, RuscaRL значительно улучшает показатели Qwen-2.5-7B-Instruct с 23.6 до 50.3 на HealthBench-500, превосходя GPT-4.1. Более того, наша доработанная версия на Qwen3-30B-A3B-Instruct достигает 61.1 на HealthBench-500, опережая ведущие LLM, включая OpenAI-o3.

English

Recent advances in Large Language Models (LLMs) have underscored the potential of Reinforcement Learning (RL) to facilitate the emergence of reasoning capabilities. Despite the encouraging results, a fundamental dilemma persists as RL improvement relies on learning from high-quality samples, yet the exploration for such samples remains bounded by the inherent limitations of LLMs. This, in effect, creates an undesirable cycle in which what cannot be explored cannot be learned. In this work, we propose Rubric-Scaffolded Reinforcement Learning (RuscaRL), a novel instructional scaffolding framework designed to break the exploration bottleneck for general LLM reasoning. Specifically, RuscaRL introduces checklist-style rubrics as (1) explicit scaffolding for exploration during rollout generation, where different rubrics are provided as external guidance within task instructions to steer diverse high-quality responses. This guidance is gradually decayed over time, encouraging the model to internalize the underlying reasoning patterns; (2) verifiable rewards for exploitation during model training, where we can obtain robust LLM-as-a-Judge scores using rubrics as references, enabling effective RL on general reasoning tasks. Extensive experiments demonstrate the superiority of the proposed RuscaRL across various benchmarks, effectively expanding reasoning boundaries under the best-of-N evaluation. Notably, RuscaRL significantly boosts Qwen-2.5-7B-Instruct from 23.6 to 50.3 on HealthBench-500, surpassing GPT-4.1. Furthermore, our fine-tuned variant on Qwen3-30B-A3B-Instruct achieves 61.1 on HealthBench-500, outperforming leading LLMs including OpenAI-o3.

Преодоление барьера исследования: обучение с подкреплением на основе рубрик для общих рассуждений в крупных языковых моделях

Breaking the Exploration Bottleneck: Rubric-Scaffolded Reinforcement Learning for General LLM Reasoning

Аннотация

Support