Ensinando Modelos a Ensinarem a Si Mesmos: Raciocínio na Fronteira da Aprendibilidade

Teaching Models to Teach Themselves: Reasoning at the Edge of Learnability

January 26, 2026

Autores: Shobhita Sundaram, John Quan, Ariel Kwiatkowski, Kartik Ahuja, Yann Ollivier, Julia Kempe

cs.AI

Resumo

Um modelo pode aprender a escapar do seu próprio platô de aprendizagem? Métodos de aprendizagem por reforço para o ajuste fino de grandes modelos de raciocínio estagnam em conjuntos de dados com baixas taxas de sucesso iniciais e, portanto, pouco sinal de treinamento. Investigamos uma questão fundamental: Um LLM pré-treinado pode aproveitar conhecimento latente para gerar um currículo automatizado para problemas que não consegue resolver? Para explorar isso, projetamos o SOAR: uma estrutura de autoaprimoramento concebida para revelar esses sinais pedagógicos através de meta-RL. Uma cópia "professor" do modelo propõe problemas sintéticos para uma cópia "estudante", sendo recompensada pela melhoria desta em um pequeno subconjunto de problemas difíceis. Criticalmente, o SOAR ancora o currículo no progresso mensurado do estudante, e não em recompensas proxy intrínsecas. Nosso estudo nos subconjuntos mais difíceis de benchmarks matemáticos (0/128 de sucesso) revela três descobertas principais. Primeiro, mostramos que é possível realizar meta-RL bi-nível que desbloqueia a aprendizagem sob recompensas binárias esparsas, aguçando uma capacidade latente dos modelos pré-treinados de gerar "degraus" úteis. Segundo, recompensas ancoradas no desempenho superam esquemas de recompensa intrínsecos usados em autojogo prévio de LLMs, evitando de forma confiável a instabilidade e os modos de colapso de diversidade que eles normalmente exibem. Terceiro, a análise das questões geradas revela que a qualidade estrutural e a boa formulação são mais críticas para o progresso da aprendizagem do que a correção da solução. Nossos resultados sugerem que a capacidade de gerar degraus úteis não requer a habilidade preexistente de realmente resolver os problemas difíceis, abrindo um caminho fundamentado para escapar dos platôs de raciocínio sem dados curados adicionais.

English

Can a model learn to escape its own learning plateau? Reinforcement learning methods for finetuning large reasoning models stall on datasets with low initial success rates, and thus little training signal. We investigate a fundamental question: Can a pretrained LLM leverage latent knowledge to generate an automated curriculum for problems it cannot solve? To explore this, we design SOAR: A self-improvement framework designed to surface these pedagogical signals through meta-RL. A teacher copy of the model proposes synthetic problems for a student copy, and is rewarded with its improvement on a small subset of hard problems. Critically, SOAR grounds the curriculum in measured student progress rather than intrinsic proxy rewards. Our study on the hardest subsets of mathematical benchmarks (0/128 success) reveals three core findings. First, we show that it is possible to realize bi-level meta-RL that unlocks learning under sparse, binary rewards by sharpening a latent capacity of pretrained models to generate useful stepping stones. Second, grounded rewards outperform intrinsic reward schemes used in prior LLM self-play, reliably avoiding the instability and diversity collapse modes they typically exhibit. Third, analyzing the generated questions reveals that structural quality and well-posedness are more critical for learning progress than solution correctness. Our results suggest that the ability to generate useful stepping stones does not require the preexisting ability to actually solve the hard problems, paving a principled path to escape reasoning plateaus without additional curated data.