LADDER: Mejora Autónoma de Modelos de Lenguaje a Gran Escala Mediante Descomposición Recursiva de Problemas

LADDER: Self-Improving LLMs Through Recursive Problem Decomposition

March 2, 2025

Autores: Toby Simonds, Akira Yoshiyama

cs.AI

Resumen

Presentamos LADDER (Aprendizaje a través de Recursión Autónoma de Ejemplos Guiada por Dificultad), un marco que permite a los Modelos de Lenguaje de Gran Escala mejorar autónomamente sus capacidades de resolución de problemas mediante el aprendizaje autoguiado, generando y resolviendo de manera recursiva variantes progresivamente más simples de problemas complejos. A diferencia de enfoques previos que requieren conjuntos de datos curados o retroalimentación humana, LADDER aprovecha las propias capacidades del modelo para generar variantes más sencillas de preguntas. Demostramos la efectividad de LADDER en el tema de integración matemática, mejorando la precisión de Llama 3.2 3B del 1% al 82% en problemas de nivel universitario y permitiendo que Qwen2.5 7B Deepseek-R1 Distilled alcance un 73% en el examen de calificación del MIT Integration Bee. También introducimos TTRL (Aprendizaje por Refuerzo en Tiempo de Prueba), donde realizamos aprendizaje por refuerzo en variantes de problemas de prueba durante la inferencia. TTRL permite que Qwen2.5 7B Deepseek-R1 Distilled logre un puntaje de vanguardia del 90% en el examen de calificación del MIT Integration Bee, superando el rendimiento de OpenAI o1. Estos resultados muestran cómo el aprendizaje estratégico autodirigido puede lograr mejoras significativas en las capacidades sin depender de la escalabilidad arquitectónica o la supervisión humana.

English

We introduce LADDER (Learning through Autonomous Difficulty-Driven Example Recursion), a framework which enables Large Language Models to autonomously improve their problem-solving capabilities through self-guided learning by recursively generating and solving progressively simpler variants of complex problems. Unlike prior approaches that require curated datasets or human feedback, LADDER leverages a model's own capabilities to generate easier question variants. We demonstrate LADDER's effectiveness in the subject of mathematical integration, improving Llama 3.2 3B's accuracy from 1% to 82% on undergraduate-level problems and enabling Qwen2.5 7B Deepseek-R1 Distilled to achieve 73% on the MIT Integration Bee qualifying examination. We also introduce TTRL (Test-Time Reinforcement Learning), where we perform reinforcement learning on variants of test problems at inference time. TTRL enables Qwen2.5 7B Deepseek-R1 Distilled to achieve a state-of-the-art score of 90% on the MIT Integration Bee qualifying examination, surpassing OpenAI o1's performance. These results show how self-directed strategic learning can achieve significant capability improvements without relying on architectural scaling or human supervision.