LADDER : Amélioration autonome des LLM par décomposition récursive des problèmes

LADDER: Self-Improving LLMs Through Recursive Problem Decomposition

March 2, 2025

Auteurs: Toby Simonds, Akira Yoshiyama

cs.AI

Résumé

Nous présentons LADDER (Learning through Autonomous Difficulty-Driven Example Recursion), un cadre qui permet aux grands modèles de langage d'améliorer de manière autonome leurs capacités de résolution de problèmes grâce à un apprentissage autoguidé en générant et en résolvant de manière récursive des variantes progressivement plus simples de problèmes complexes. Contrairement aux approches antérieures qui nécessitent des ensembles de données soigneusement sélectionnés ou des retours humains, LADDER exploite les capacités propres d'un modèle pour générer des variantes de questions plus faciles. Nous démontrons l'efficacité de LADDER dans le domaine de l'intégration mathématique, améliorant la précision de Llama 3.2 3B de 1 % à 82 % sur des problèmes de niveau universitaire et permettant à Qwen2.5 7B Deepseek-R1 Distilled d'atteindre 73 % à l'examen de qualification du MIT Integration Bee. Nous introduisons également TTRL (Test-Time Reinforcement Learning), où nous effectuons un apprentissage par renforcement sur des variantes de problèmes de test au moment de l'inférence. TTRL permet à Qwen2.5 7B Deepseek-R1 Distilled d'obtenir un score de pointe de 90 % à l'examen de qualification du MIT Integration Bee, surpassant la performance d'OpenAI o1. Ces résultats montrent comment un apprentissage stratégique autodirigé peut permettre des améliorations significatives des capacités sans recourir à une mise à l'échelle architecturale ou à une supervision humaine.

English

We introduce LADDER (Learning through Autonomous Difficulty-Driven Example Recursion), a framework which enables Large Language Models to autonomously improve their problem-solving capabilities through self-guided learning by recursively generating and solving progressively simpler variants of complex problems. Unlike prior approaches that require curated datasets or human feedback, LADDER leverages a model's own capabilities to generate easier question variants. We demonstrate LADDER's effectiveness in the subject of mathematical integration, improving Llama 3.2 3B's accuracy from 1% to 82% on undergraduate-level problems and enabling Qwen2.5 7B Deepseek-R1 Distilled to achieve 73% on the MIT Integration Bee qualifying examination. We also introduce TTRL (Test-Time Reinforcement Learning), where we perform reinforcement learning on variants of test problems at inference time. TTRL enables Qwen2.5 7B Deepseek-R1 Distilled to achieve a state-of-the-art score of 90% on the MIT Integration Bee qualifying examination, surpassing OpenAI o1's performance. These results show how self-directed strategic learning can achieve significant capability improvements without relying on architectural scaling or human supervision.