Enseñar a los Modelos a Enseñarse a Sí Mismos: Razonando en el Límite de la Capacidad de Aprendizaje

Teaching Models to Teach Themselves: Reasoning at the Edge of Learnability

January 26, 2026

Autores: Shobhita Sundaram, John Quan, Ariel Kwiatkowski, Kartik Ahuja, Yann Ollivier, Julia Kempe

cs.AI

Resumen

¿Puede un modelo aprender a escapar de su propia meseta de aprendizaje? Los métodos de aprendizaje por refuerzo para el ajuste fino de modelos grandes de razonamiento se estancan en conjuntos de datos con tasas de éxito iniciales bajas y, por lo tanto, con poca señal de entrenamiento. Investigamos una cuestión fundamental: ¿Puede un LLM preentrenado aprovechar el conocimiento latente para generar un currículo automatizado para problemas que no puede resolver? Para explorarlo, diseñamos SOAR: un marco de auto-mejora diseñado para sacar a la luz estas señales pedagógicas mediante meta-RL. Una copia del modelo que actúa como profesor propone problemas sintéticos a una copia que actúa como estudiante, y es recompensada por la mejora de este último en un pequeño subconjunto de problemas difíciles. De manera crítica, SOAR basa el currículo en el progreso medido del estudiante en lugar de en recompensas proxy intrínsecas. Nuestro estudio sobre los subconjuntos más difíciles de benchmarks matemáticos (0/128 de éxito) revela tres hallazgos principales. En primer lugar, demostramos que es posible realizar un meta-RL de dos niveles que desbloquee el aprendizaje bajo recompensas binarias y dispersas, aprovechando una capacidad latente de los modelos preentrenados para generar peldaños útiles. En segundo lugar, las recompensas basadas en el progreso superan a los esquemas de recompensa intrínseca utilizados en el auto-juego previo de LLM, evitando de forma fiable la inestabilidad y los modos de colapso de la diversidad que estos suelen exhibir. En tercer lugar, el análisis de las preguntas generadas revela que la calidad estructural y la buena formulación son más críticas para el progreso del aprendizaje que la corrección de la solución. Nuestros resultados sugieren que la capacidad de generar peldaños útiles no requiere la habilidad preexistente de resolver realmente los problemas difíciles, allanando un camino fundamentado para escapar de las mesetas de razonamiento sin necesidad de datos adicionales seleccionados manualmente.

English

Can a model learn to escape its own learning plateau? Reinforcement learning methods for finetuning large reasoning models stall on datasets with low initial success rates, and thus little training signal. We investigate a fundamental question: Can a pretrained LLM leverage latent knowledge to generate an automated curriculum for problems it cannot solve? To explore this, we design SOAR: A self-improvement framework designed to surface these pedagogical signals through meta-RL. A teacher copy of the model proposes synthetic problems for a student copy, and is rewarded with its improvement on a small subset of hard problems. Critically, SOAR grounds the curriculum in measured student progress rather than intrinsic proxy rewards. Our study on the hardest subsets of mathematical benchmarks (0/128 success) reveals three core findings. First, we show that it is possible to realize bi-level meta-RL that unlocks learning under sparse, binary rewards by sharpening a latent capacity of pretrained models to generate useful stepping stones. Second, grounded rewards outperform intrinsic reward schemes used in prior LLM self-play, reliably avoiding the instability and diversity collapse modes they typically exhibit. Third, analyzing the generated questions reveals that structural quality and well-posedness are more critical for learning progress than solution correctness. Our results suggest that the ability to generate useful stepping stones does not require the preexisting ability to actually solve the hard problems, paving a principled path to escape reasoning plateaus without additional curated data.