El razonamiento implícito en los Transformadores es razonamiento a través de atajos.

Implicit Reasoning in Transformers is Reasoning through Shortcuts

March 10, 2025

Autores: Tianhe Lin, Jian Xie, Siyu Yuan, Deqing Yang

cs.AI

Resumen

El cómputo en tiempo de prueba está surgiendo como un nuevo paradigma para mejorar las capacidades de razonamiento complejo de múltiples pasos en los modelos de lenguaje, como lo demuestran los éxitos de o1 y o3 de OpenAI, así como R1 de DeepSeek. En comparación con el razonamiento explícito en el cómputo en tiempo de prueba, el razonamiento implícito es más eficiente en inferencia, ya que requiere menos tokens generados. Sin embargo, ¿por qué no surge la capacidad avanzada de razonamiento en el estilo de razonamiento implícito? En este trabajo, entrenamos GPT-2 desde cero en un conjunto de datos curado de razonamiento matemático de múltiples pasos y realizamos experimentos analíticos para investigar cómo los modelos de lenguaje realizan razonamiento implícito en tareas de múltiples pasos. Nuestros hallazgos revelan: 1) Los modelos de lenguaje pueden realizar razonamiento paso a paso y alcanzar una alta precisión tanto en pruebas dentro del dominio como fuera del dominio mediante razonamiento implícito. Sin embargo, esta capacidad solo surge cuando se entrena con datos de patrones fijos. 2) Por el contrario, las habilidades de razonamiento implícito que surgen del entrenamiento con datos de patrones no fijos tienden a sobreajustarse a un patrón específico y no logran generalizar más allá. Notablemente, esta limitación también se observa en los modelos de lenguaje de última generación. Estos hallazgos sugieren que los modelos de lenguaje adquieren razonamiento implícito a través del aprendizaje de atajos, lo que les permite un rendimiento sólido en tareas con patrones similares, pero carecen de generalización.

English

Test-time compute is emerging as a new paradigm for enhancing language models' complex multi-step reasoning capabilities, as demonstrated by the success of OpenAI's o1 and o3, as well as DeepSeek's R1. Compared to explicit reasoning in test-time compute, implicit reasoning is more inference-efficient, requiring fewer generated tokens. However, why does the advanced reasoning capability fail to emerge in the implicit reasoning style? In this work, we train GPT-2 from scratch on a curated multi-step mathematical reasoning dataset and conduct analytical experiments to investigate how language models perform implicit reasoning in multi-step tasks. Our findings reveal: 1) Language models can perform step-by-step reasoning and achieve high accuracy in both in-domain and out-of-domain tests via implicit reasoning. However, this capability only emerges when trained on fixed-pattern data. 2) Conversely, implicit reasoning abilities emerging from training on unfixed-pattern data tend to overfit a specific pattern and fail to generalize further. Notably, this limitation is also observed in state-of-the-art large language models. These findings suggest that language models acquire implicit reasoning through shortcut learning, enabling strong performance on tasks with similar patterns while lacking generalization.