LIMO: Weniger ist mehr für das Schlussfolgern

LIMO: Less is More for Reasoning

February 5, 2025

Autoren: Yixin Ye, Zhen Huang, Yang Xiao, Ethan Chern, Shijie Xia, Pengfei Liu

cs.AI

Zusammenfassung

Wir präsentieren eine grundlegende Entdeckung, die unser Verständnis davon herausfordert, wie komplexe Schlussfolgerungen in großen Sprachmodellen entstehen. Während die herkömmliche Weisheit nahelegt, dass anspruchsvolle Schlussfolgerungsaufgaben umfangreiche Trainingsdaten (>100.000 Beispiele) erfordern, zeigen wir, dass komplexe mathematische Schlussfolgerungsfähigkeiten effektiv mit überraschend wenigen Beispielen hervorgerufen werden können. Durch umfassende Experimente zeigt unser vorgeschlagenes Modell LIMO eine beispiellose Leistung in mathematischen Schlussfolgerungen. Mit lediglich 817 sorgfältig ausgewählten Trainingsbeispielen erreicht LIMO eine Genauigkeit von 57,1% bei AIME und 94,8% bei MATH, was eine Verbesserung gegenüber den vorherigen SFT-basierten Modellen von 6,5% bzw. 59,2% darstellt, während nur 1% der Trainingsdaten im Vergleich zu früheren Ansätzen verwendet werden. LIMO zeigt eine außergewöhnliche Generalisierung außerhalb der Verteilung und erzielt eine absolute Verbesserung von 40,5% über 10 verschiedene Benchmarks hinweg, wobei es Modelle übertrifft, die mit 100-mal mehr Daten trainiert wurden, und die Annahme herausfordert, dass SFT zu Memorierung anstelle von Generalisierung führt. Basierend auf diesen Ergebnissen schlagen wir die Hypothese des Weniger-ist-Mehr-Schlussfolgerns (LIMO-Hypothese) vor: In Grundlagenmodellen, in denen Domänenwissen während des Pre-Trainings umfassend codiert wurde, können anspruchsvolle Schlussfolgerungsfähigkeiten durch minimale, aber präzise orchestrierte Demonstrationen kognitiver Prozesse entstehen. Diese Hypothese postuliert, dass die Hervorrufungsschwelle für komplexe Schlussfolgerungen durch zwei wesentliche Faktoren bestimmt wird: (1) die Vollständigkeit des im Modell codierten Wissensfundaments während des Pre-Trainings und (2) die Effektivität von Post-Trainingsbeispielen als "kognitive Vorlagen", die dem Modell zeigen, wie es sein Wissensfundament nutzen kann, um komplexe Schlussfolgerungsaufgaben zu lösen. Um die Reproduzierbarkeit und zukünftige Forschung in dateneffizienten Schlussfolgerungen zu erleichtern, veröffentlichen wir LIMO als umfassendes Open-Source-Paket unter https://github.com/GAIR-NLP/LIMO.

English

We present a fundamental discovery that challenges our understanding of how complex reasoning emerges in large language models. While conventional wisdom suggests that sophisticated reasoning tasks demand extensive training data (>100,000 examples), we demonstrate that complex mathematical reasoning abilities can be effectively elicited with surprisingly few examples. Through comprehensive experiments, our proposed model LIMO demonstrates unprecedented performance in mathematical reasoning. With merely 817 curated training samples, LIMO achieves 57.1% accuracy on AIME and 94.8% on MATH, improving from previous SFT-based models' 6.5% and 59.2% respectively, while only using 1% of the training data required by previous approaches. LIMO demonstrates exceptional out-of-distribution generalization, achieving 40.5% absolute improvement across 10 diverse benchmarks, outperforming models trained on 100x more data, challenging the notion that SFT leads to memorization rather than generalization. Based on these results, we propose the Less-Is-More Reasoning Hypothesis (LIMO Hypothesis): In foundation models where domain knowledge has been comprehensively encoded during pre-training, sophisticated reasoning capabilities can emerge through minimal but precisely orchestrated demonstrations of cognitive processes. This hypothesis posits that the elicitation threshold for complex reasoning is determined by two key factors: (1) the completeness of the model's encoded knowledge foundation during pre-training, and (2) the effectiveness of post-training examples as "cognitive templates" that show the model how to utilize its knowledge base to solve complex reasoning tasks. To facilitate reproducibility and future research in data-efficient reasoning, we release LIMO as a comprehensive open-source suite at https://github.com/GAIR-NLP/LIMO.