LADDER: Autoaperfeiçoamento de LLMs por meio de Decomposição Recursiva de Problemas

LADDER: Self-Improving LLMs Through Recursive Problem Decomposition

March 2, 2025

Autores: Toby Simonds, Akira Yoshiyama

cs.AI

Resumo

Apresentamos o LADDER (Aprendizado por Recursão Autônoma de Exemplos Guiada por Dificuldade), uma estrutura que permite que Modelos de Linguagem de Grande Escala melhorem autonomamente suas capacidades de resolução de problemas por meio de aprendizado autoguiado, gerando e resolvendo recursivamente variantes progressivamente mais simples de problemas complexos. Diferente de abordagens anteriores que exigem conjuntos de dados curados ou feedback humano, o LADDER aproveita as próprias capacidades do modelo para gerar variantes mais fáceis de questões. Demonstramos a eficácia do LADDER no tema de integração matemática, melhorando a precisão do Llama 3.2 3B de 1% para 82% em problemas de nível universitário e permitindo que o Qwen2.5 7B Deepseek-R1 Distilled alcance 73% no exame de qualificação do MIT Integration Bee. Também introduzimos o TTRL (Aprendizado por Reforço em Tempo de Teste), onde realizamos aprendizado por reforço em variantes de problemas de teste durante a inferência. O TTRL permite que o Qwen2.5 7B Deepseek-R1 Distilled alcance uma pontuação de 90% no exame de qualificação do MIT Integration Bee, superando o desempenho do OpenAI o1. Esses resultados mostram como o aprendizado estratégico autodirigido pode alcançar melhorias significativas de capacidade sem depender de escalonamento arquitetônico ou supervisão humana.

English

We introduce LADDER (Learning through Autonomous Difficulty-Driven Example Recursion), a framework which enables Large Language Models to autonomously improve their problem-solving capabilities through self-guided learning by recursively generating and solving progressively simpler variants of complex problems. Unlike prior approaches that require curated datasets or human feedback, LADDER leverages a model's own capabilities to generate easier question variants. We demonstrate LADDER's effectiveness in the subject of mathematical integration, improving Llama 3.2 3B's accuracy from 1% to 82% on undergraduate-level problems and enabling Qwen2.5 7B Deepseek-R1 Distilled to achieve 73% on the MIT Integration Bee qualifying examination. We also introduce TTRL (Test-Time Reinforcement Learning), where we perform reinforcement learning on variants of test problems at inference time. TTRL enables Qwen2.5 7B Deepseek-R1 Distilled to achieve a state-of-the-art score of 90% on the MIT Integration Bee qualifying examination, surpassing OpenAI o1's performance. These results show how self-directed strategic learning can achieve significant capability improvements without relying on architectural scaling or human supervision.