Impliciete redenering in Transformers is redeneren via snelkoppelingen

Implicit Reasoning in Transformers is Reasoning through Shortcuts

March 10, 2025

Auteurs: Tianhe Lin, Jian Xie, Siyu Yuan, Deqing Yang

cs.AI

Samenvatting

Test-time compute ontwikkelt zich als een nieuw paradigma om de complexe, meerstaps redeneervaardigheden van taalmodelen te verbeteren, zoals blijkt uit het succes van OpenAI's o1 en o3, evenals DeepSeek's R1. In vergelijking met expliciet redeneren tijdens test-time compute, is impliciet redeneren efficiënter in inferentie, omdat het minder gegenereerde tokens vereist. Waarom komt de geavanceerde redeneervaardigheid echter niet tot uiting in de impliciete redeneerstijl? In dit werk trainen we GPT-2 vanaf nul op een gecureerde dataset voor meerstaps wiskundig redeneren en voeren we analytische experimenten uit om te onderzoeken hoe taalmodelen impliciet redeneren in meerstaps taken. Onze bevindingen onthullen: 1) Taalmodelen kunnen stap-voor-stap redeneren en hoge nauwkeurigheid bereiken in zowel in-domein als out-of-domein tests via impliciet redeneren. Deze vaardigheid komt echter alleen naar voren wanneer getraind op data met een vast patroon. 2) Aan de andere kant neigen impliciete redeneervaardigheden die ontstaan uit training op data zonder vast patroon tot overfitting op een specifiek patroon en slagen ze er niet in om verder te generaliseren. Opmerkelijk is dat deze beperking ook wordt waargenomen in state-of-the-art grote taalmodelen. Deze bevindingen suggereren dat taalmodelen impliciet redeneren verwerven via shortcut learning, wat sterke prestaties mogelijk maakt op taken met vergelijkbare patronen, maar generalisatie ontbreekt.

English

Test-time compute is emerging as a new paradigm for enhancing language models' complex multi-step reasoning capabilities, as demonstrated by the success of OpenAI's o1 and o3, as well as DeepSeek's R1. Compared to explicit reasoning in test-time compute, implicit reasoning is more inference-efficient, requiring fewer generated tokens. However, why does the advanced reasoning capability fail to emerge in the implicit reasoning style? In this work, we train GPT-2 from scratch on a curated multi-step mathematical reasoning dataset and conduct analytical experiments to investigate how language models perform implicit reasoning in multi-step tasks. Our findings reveal: 1) Language models can perform step-by-step reasoning and achieve high accuracy in both in-domain and out-of-domain tests via implicit reasoning. However, this capability only emerges when trained on fixed-pattern data. 2) Conversely, implicit reasoning abilities emerging from training on unfixed-pattern data tend to overfit a specific pattern and fail to generalize further. Notably, this limitation is also observed in state-of-the-art large language models. These findings suggest that language models acquire implicit reasoning through shortcut learning, enabling strong performance on tasks with similar patterns while lacking generalization.