Insegnare ai Modelli ad Auto-Istruirsi: Ragionamento ai Limiti dell'Apprendibilità

Teaching Models to Teach Themselves: Reasoning at the Edge of Learnability

January 26, 2026

Autori: Shobhita Sundaram, John Quan, Ariel Kwiatkowski, Kartik Ahuja, Yann Ollivier, Julia Kempe

cs.AI

Abstract

Un modello può imparare a superare il proprio plateau di apprendimento? I metodi di apprendimento per rinforzo per il fine-tuning di modelli di ragionamento di grandi dimensioni si bloccano su dataset con tassi di successo iniziali bassi, e quindi con segnali di training scarsi. Investigiamo una questione fondamentale: un LLM preaddestrato può sfruttare la conoscenza latente per generare un curriculum automatizzato per problemi che non è in grado di risolvere? Per esplorare ciò, progettiamo SOAR: un framework di automiglioramento concepito per far emergere questi segnali pedagogici attraverso il meta-RL. Una copia "insegnante" del modello propone problemi sintetici per una copia "studente", e viene premiata in base al miglioramento di quest'ultima su un piccolo sottoinsieme di problemi difficili. Elemento cruciale, SOAR ancorà il curriculum al progresso misurato dello studente, piuttosto che a ricompense intrinseche surrogate. Il nostro studio sui sottoinsiemi più difficili di benchmark matematici (0/128 successi) rivela tre risultati fondamentali. Primo, dimostriamo che è possibile realizzare un meta-RL bi-livello che sblocca l'apprendimento con ricompense binarie e sparse, affinando una capacità latente dei modelli preaddestrati di generare utili "tappe intermedie". Secondo, le ricompense ancorate allo studente superano gli schemi di ricompensa intrinseca usati in precedenti lavori di self-play per LLM, evitando in modo affidabile l'instabilità e il collasso della diversità che tipicamente li caratterizzano. Terzo, l'analisi delle domande generate rivela che la qualità strutturale e la chiara formulazione sono più critiche per il progresso dell'apprendimento rispetto alla correttezza della soluzione. I nostri risultati suggeriscono che la capacità di generare utili tappe intermedie non richiede la preesistente abilità di risolvere effettivamente i problemi difficili, tracciando così un percorso metodologico per fuggire dai plateau di ragionamento senza dati aggiuntivi curati.

English

Can a model learn to escape its own learning plateau? Reinforcement learning methods for finetuning large reasoning models stall on datasets with low initial success rates, and thus little training signal. We investigate a fundamental question: Can a pretrained LLM leverage latent knowledge to generate an automated curriculum for problems it cannot solve? To explore this, we design SOAR: A self-improvement framework designed to surface these pedagogical signals through meta-RL. A teacher copy of the model proposes synthetic problems for a student copy, and is rewarded with its improvement on a small subset of hard problems. Critically, SOAR grounds the curriculum in measured student progress rather than intrinsic proxy rewards. Our study on the hardest subsets of mathematical benchmarks (0/128 success) reveals three core findings. First, we show that it is possible to realize bi-level meta-RL that unlocks learning under sparse, binary rewards by sharpening a latent capacity of pretrained models to generate useful stepping stones. Second, grounded rewards outperform intrinsic reward schemes used in prior LLM self-play, reliably avoiding the instability and diversity collapse modes they typically exhibit. Third, analyzing the generated questions reveals that structural quality and well-posedness are more critical for learning progress than solution correctness. Our results suggest that the ability to generate useful stepping stones does not require the preexisting ability to actually solve the hard problems, paving a principled path to escape reasoning plateaus without additional curated data.