LIMO: Minder is Meer voor Redeneren

LIMO: Less is More for Reasoning

February 5, 2025

Auteurs: Yixin Ye, Zhen Huang, Yang Xiao, Ethan Chern, Shijie Xia, Pengfei Liu

cs.AI

Samenvatting

We presenteren een fundamentele ontdekking die onze kennis over hoe complex redeneren ontstaat in grote taalmodellen uitdaagt. Terwijl de conventionele wijsheid suggereert dat geavanceerde redeneertaken uitgebreide trainingsdata vereisen (>100.000 voorbeelden), tonen we aan dat complexe wiskundige redeneervaardigheden effectief kunnen worden opgeroepen met verrassend weinig voorbeelden. Via uitgebreide experimenten toont ons voorgestelde model LIMO ongekende prestaties in wiskundig redeneren. Met slechts 817 zorgvuldig samengestelde trainingsvoorbeelden behaalt LIMO een nauwkeurigheid van 57,1% op AIME en 94,8% op MATH, een verbetering ten opzichte van respectievelijk 6,5% en 59,2% van eerdere SFT-gebaseerde modellen, terwijl slechts 1% van de trainingsdata nodig is in vergelijking met eerdere benaderingen. LIMO toont uitzonderlijke generalisatie buiten de distributie, met een absolute verbetering van 40,5% over 10 diverse benchmarks, waarbij modellen getraind op 100x meer data worden overtroffen, wat de notie uitdaagt dat SFT leidt tot memorisatie in plaats van generalisatie. Op basis van deze resultaten stellen we de Less-Is-More Redeneerhypothese (LIMO Hypothese) voor: In foundation-modellen waar domeinkennis uitgebreid is gecodeerd tijdens pre-training, kunnen geavanceerde redeneervermogens ontstaan door minimale maar nauwkeurig georkestreerde demonstraties van cognitieve processen. Deze hypothese stelt dat de opwekkingsdrempel voor complex redeneren wordt bepaald door twee belangrijke factoren: (1) de volledigheid van de gecodeerde kennisbasis van het model tijdens pre-training, en (2) de effectiviteit van post-trainingvoorbeelden als "cognitieve sjablonen" die het model laten zien hoe het zijn kennisbasis kan gebruiken om complexe redeneertaken op te lossen. Om reproduceerbaarheid en toekomstig onderzoek naar data-efficiënt redeneren te vergemakkelijken, stellen we LIMO beschikbaar als een uitgebreide open-source suite op https://github.com/GAIR-NLP/LIMO.

English

We present a fundamental discovery that challenges our understanding of how complex reasoning emerges in large language models. While conventional wisdom suggests that sophisticated reasoning tasks demand extensive training data (>100,000 examples), we demonstrate that complex mathematical reasoning abilities can be effectively elicited with surprisingly few examples. Through comprehensive experiments, our proposed model LIMO demonstrates unprecedented performance in mathematical reasoning. With merely 817 curated training samples, LIMO achieves 57.1% accuracy on AIME and 94.8% on MATH, improving from previous SFT-based models' 6.5% and 59.2% respectively, while only using 1% of the training data required by previous approaches. LIMO demonstrates exceptional out-of-distribution generalization, achieving 40.5% absolute improvement across 10 diverse benchmarks, outperforming models trained on 100x more data, challenging the notion that SFT leads to memorization rather than generalization. Based on these results, we propose the Less-Is-More Reasoning Hypothesis (LIMO Hypothesis): In foundation models where domain knowledge has been comprehensively encoded during pre-training, sophisticated reasoning capabilities can emerge through minimal but precisely orchestrated demonstrations of cognitive processes. This hypothesis posits that the elicitation threshold for complex reasoning is determined by two key factors: (1) the completeness of the model's encoded knowledge foundation during pre-training, and (2) the effectiveness of post-training examples as "cognitive templates" that show the model how to utilize its knowledge base to solve complex reasoning tasks. To facilitate reproducibility and future research in data-efficient reasoning, we release LIMO as a comprehensive open-source suite at https://github.com/GAIR-NLP/LIMO.