LADDER: Zelfverbeterende LLM's via recursieve probleemdecompositie

LADDER: Self-Improving LLMs Through Recursive Problem Decomposition

March 2, 2025

Auteurs: Toby Simonds, Akira Yoshiyama

cs.AI

Samenvatting

We introduceren LADDER (Learning through Autonomous Difficulty-Driven Example Recursion), een raamwerk dat Large Language Models in staat stelt om autonoom hun probleemoplossende vaardigheden te verbeteren door middel van zelfgestuurd leren, waarbij ze recursief steeds eenvoudigere varianten van complexe problemen genereren en oplossen. In tegenstelling tot eerdere benaderingen die gecureerde datasets of menselijke feedback vereisen, maakt LADDER gebruik van de eigen mogelijkheden van een model om eenvoudigere vraagvarianten te genereren. We demonstreren de effectiviteit van LADDER op het gebied van wiskundige integratie, waarbij de nauwkeurigheid van Llama 3.2 3B verbetert van 1% naar 82% op problemen van bachelorniveau en Qwen2.5 7B Deepseek-R1 Distilled in staat stelt om 73% te behalen op het kwalificatie-examen van de MIT Integration Bee. We introduceren ook TTRL (Test-Time Reinforcement Learning), waarbij we reinforcement learning toepassen op varianten van testproblemen tijdens de inferentiefase. TTRL stelt Qwen2.5 7B Deepseek-R1 Distilled in staat om een state-of-the-art score van 90% te behalen op het kwalificatie-examen van de MIT Integration Bee, wat de prestaties van OpenAI o1 overtreft. Deze resultaten laten zien hoe zelfgestuurd strategisch leren aanzienlijke verbeteringen in vaardigheden kan bereiken zonder te vertrouwen op architectonische schaalvergroting of menselijk toezicht.

English

We introduce LADDER (Learning through Autonomous Difficulty-Driven Example Recursion), a framework which enables Large Language Models to autonomously improve their problem-solving capabilities through self-guided learning by recursively generating and solving progressively simpler variants of complex problems. Unlike prior approaches that require curated datasets or human feedback, LADDER leverages a model's own capabilities to generate easier question variants. We demonstrate LADDER's effectiveness in the subject of mathematical integration, improving Llama 3.2 3B's accuracy from 1% to 82% on undergraduate-level problems and enabling Qwen2.5 7B Deepseek-R1 Distilled to achieve 73% on the MIT Integration Bee qualifying examination. We also introduce TTRL (Test-Time Reinforcement Learning), where we perform reinforcement learning on variants of test problems at inference time. TTRL enables Qwen2.5 7B Deepseek-R1 Distilled to achieve a state-of-the-art score of 90% on the MIT Integration Bee qualifying examination, surpassing OpenAI o1's performance. These results show how self-directed strategic learning can achieve significant capability improvements without relying on architectural scaling or human supervision.