Обучение моделей самообучению: рассуждения на грани познаваемости

Teaching Models to Teach Themselves: Reasoning at the Edge of Learnability

January 26, 2026

Авторы: Shobhita Sundaram, John Quan, Ariel Kwiatkowski, Kartik Ahuja, Yann Ollivier, Julia Kempe

cs.AI

Аннотация

Может ли модель научиться преодолевать собственное плато обучения? Методы обучения с подкреплением для тонкой настройки крупных моделей рассуждений заходят в тупик на наборах данных с низкими начальными показателями успеха и, следовательно, малым обучающим сигналом. Мы исследуем фундаментальный вопрос: Может ли предобученная большая языковая модель использовать скрытые знания для генерации автоматизированного учебного плана для задач, которые она не может решить? Чтобы изучить это, мы разработали SOAR: структуру для самосовершенствования, предназначенную для выявления этих педагогических сигналов с помощью мета-обучения с подкреплением. Учительская копия модели предлагает синтетические задачи для ученической копии и получает вознаграждение за ее улучшение на небольшом подмножестве сложных проблем. Ключевым моментом является то, что SOAR основывает учебный план на измеряемом прогрессе ученика, а не на внутренних косвенных вознаграждениях. Наше исследование на самых сложных подмножествах математических бенчмарков (успех 0/128) выявляет три основных результата. Во-первых, мы показываем, что возможно реализовать двухуровневое мета-обучение с подкреплением, которое открывает обучение при разреженных бинарных вознаграждениях, за счет обострения скрытой способности предобученных моделей генерировать полезные промежуточные шаги. Во-вторых, обоснованные вознаграждения превосходят схемы с внутренними вознаграждениями, использовавшиеся в предыдущих работах по самосовершенствованию LLM, надежно избегая нестабильности и коллапса разнообразия, которые для них типичны. В-третьих, анализ сгенерированных вопросов показывает, что структурное качество и корректность постановки задачи более критичны для прогресса в обучении, чем правильность решения. Наши результаты позволяют предположить, что способность генерировать полезные промежуточные шаги не требует изначальной возможности фактически решать сложные задачи, прокладывая принципиальный путь для преодоления плато в рассуждениях без привлечения дополнительных курируемых данных.

English

Can a model learn to escape its own learning plateau? Reinforcement learning methods for finetuning large reasoning models stall on datasets with low initial success rates, and thus little training signal. We investigate a fundamental question: Can a pretrained LLM leverage latent knowledge to generate an automated curriculum for problems it cannot solve? To explore this, we design SOAR: A self-improvement framework designed to surface these pedagogical signals through meta-RL. A teacher copy of the model proposes synthetic problems for a student copy, and is rewarded with its improvement on a small subset of hard problems. Critically, SOAR grounds the curriculum in measured student progress rather than intrinsic proxy rewards. Our study on the hardest subsets of mathematical benchmarks (0/128 success) reveals three core findings. First, we show that it is possible to realize bi-level meta-RL that unlocks learning under sparse, binary rewards by sharpening a latent capacity of pretrained models to generate useful stepping stones. Second, grounded rewards outperform intrinsic reward schemes used in prior LLM self-play, reliably avoiding the instability and diversity collapse modes they typically exhibit. Third, analyzing the generated questions reveals that structural quality and well-posedness are more critical for learning progress than solution correctness. Our results suggest that the ability to generate useful stepping stones does not require the preexisting ability to actually solve the hard problems, paving a principled path to escape reasoning plateaus without additional curated data.