LADDER: Modelli Linguistici Auto-Miglioranti Attraverso la Decomposizione Ricorsiva dei Problemi

LADDER: Self-Improving LLMs Through Recursive Problem Decomposition

March 2, 2025

Autori: Toby Simonds, Akira Yoshiyama

cs.AI

Abstract

Introduciamo LADDER (Learning through Autonomous Difficulty-Driven Example Recursion), un framework che consente ai Large Language Model di migliorare autonomamente le proprie capacità di problem-solving attraverso l'apprendimento autoguidato, generando e risolvendo in modo ricorsivo varianti progressivamente più semplici di problemi complessi. A differenza degli approcci precedenti che richiedono dataset curati o feedback umano, LADDER sfrutta le capacità intrinseche del modello per generare varianti più facili delle domande. Dimostriamo l'efficacia di LADDER nel campo dell'integrazione matematica, migliorando l'accuratezza di Llama 3.2 3B dall'1% all'82% su problemi di livello universitario e permettendo a Qwen2.5 7B Deepseek-R1 Distilled di raggiungere il 73% nell'esame di qualificazione del MIT Integration Bee. Introduciamo inoltre TTRL (Test-Time Reinforcement Learning), in cui eseguiamo il reinforcement learning su varianti dei problemi di test durante l'inferenza. TTRL consente a Qwen2.5 7B Deepseek-R1 Distilled di ottenere un punteggio all'avanguardia del 90% nell'esame di qualificazione del MIT Integration Bee, superando le prestazioni di OpenAI o1. Questi risultati dimostrano come l'apprendimento strategico autodiretto possa ottenere miglioramenti significativi delle capacità senza fare affidamento su scalabilità architetturale o supervisione umana.

English

We introduce LADDER (Learning through Autonomous Difficulty-Driven Example Recursion), a framework which enables Large Language Models to autonomously improve their problem-solving capabilities through self-guided learning by recursively generating and solving progressively simpler variants of complex problems. Unlike prior approaches that require curated datasets or human feedback, LADDER leverages a model's own capabilities to generate easier question variants. We demonstrate LADDER's effectiveness in the subject of mathematical integration, improving Llama 3.2 3B's accuracy from 1% to 82% on undergraduate-level problems and enabling Qwen2.5 7B Deepseek-R1 Distilled to achieve 73% on the MIT Integration Bee qualifying examination. We also introduce TTRL (Test-Time Reinforcement Learning), where we perform reinforcement learning on variants of test problems at inference time. TTRL enables Qwen2.5 7B Deepseek-R1 Distilled to achieve a state-of-the-art score of 90% on the MIT Integration Bee qualifying examination, surpassing OpenAI o1's performance. These results show how self-directed strategic learning can achieve significant capability improvements without relying on architectural scaling or human supervision.