Il ragionamento implicito nei Transformer avviene attraverso scorciatoie cognitive.

Implicit Reasoning in Transformers is Reasoning through Shortcuts

March 10, 2025

Autori: Tianhe Lin, Jian Xie, Siyu Yuan, Deqing Yang

cs.AI

Abstract

Il calcolo al momento del test sta emergendo come un nuovo paradigma per potenziare le capacità di ragionamento complesso e multi-step dei modelli linguistici, come dimostrato dal successo di o1 e o3 di OpenAI, nonché di R1 di DeepSeek. Rispetto al ragionamento esplicito nel calcolo al momento del test, il ragionamento implicito è più efficiente in termini di inferenza, richiedendo un numero inferiore di token generati. Tuttavia, perché la capacità avanzata di ragionamento non emerge nello stile di ragionamento implicito? In questo lavoro, addestriamo GPT-2 da zero su un dataset curato di ragionamento matematico multi-step e conduciamo esperimenti analitici per indagare come i modelli linguistici eseguono il ragionamento implicito in compiti multi-step. Le nostre scoperte rivelano: 1) I modelli linguistici possono eseguire ragionamenti passo-passo e raggiungere un'elevata accuratezza sia nei test in dominio che fuori dominio attraverso il ragionamento implicito. Tuttavia, questa capacità emerge solo quando vengono addestrati su dati a schema fisso. 2) Al contrario, le abilità di ragionamento implicito che emergono dall'addestramento su dati a schema non fisso tendono a sovra-adattarsi a uno schema specifico e non riescono a generalizzare ulteriormente. È importante notare che questa limitazione è osservata anche nei modelli linguistici di ultima generazione. Questi risultati suggeriscono che i modelli linguistici acquisiscono il ragionamento implicito attraverso l'apprendimento di scorciatoie, consentendo prestazioni forti su compiti con schemi simili ma mancando di generalizzazione.

English

Test-time compute is emerging as a new paradigm for enhancing language models' complex multi-step reasoning capabilities, as demonstrated by the success of OpenAI's o1 and o3, as well as DeepSeek's R1. Compared to explicit reasoning in test-time compute, implicit reasoning is more inference-efficient, requiring fewer generated tokens. However, why does the advanced reasoning capability fail to emerge in the implicit reasoning style? In this work, we train GPT-2 from scratch on a curated multi-step mathematical reasoning dataset and conduct analytical experiments to investigate how language models perform implicit reasoning in multi-step tasks. Our findings reveal: 1) Language models can perform step-by-step reasoning and achieve high accuracy in both in-domain and out-of-domain tests via implicit reasoning. However, this capability only emerges when trained on fixed-pattern data. 2) Conversely, implicit reasoning abilities emerging from training on unfixed-pattern data tend to overfit a specific pattern and fail to generalize further. Notably, this limitation is also observed in state-of-the-art large language models. These findings suggest that language models acquire implicit reasoning through shortcut learning, enabling strong performance on tasks with similar patterns while lacking generalization.