트랜스포머의 암묵적 추론은 지름길을 통한 추론이다

Implicit Reasoning in Transformers is Reasoning through Shortcuts

March 10, 2025

저자: Tianhe Lin, Jian Xie, Siyu Yuan, Deqing Yang

cs.AI

초록

테스트 시간 계산(test-time compute)은 OpenAI의 o1과 o3, 그리고 DeepSeek의 R1의 성공 사례에서 볼 수 있듯이, 언어 모델의 복잡한 다단계 추론 능력을 향상시키는 새로운 패러다임으로 부상하고 있습니다. 테스트 시간 계산에서의 명시적 추론과 비교할 때, 암묵적 추론은 더 적은 토큰을 생성함으로써 추론 효율성이 더 높습니다. 그러나 왜 이러한 고급 추론 능력이 암묵적 추론 스타일에서는 나타나지 않는 것일까요? 본 연구에서는 GPT-2를 다단계 수학적 추론 데이터셋에 대해 처음부터 학습시키고, 언어 모델이 다단계 작업에서 암묵적 추론을 어떻게 수행하는지 분석 실험을 진행했습니다. 연구 결과는 다음과 같습니다: 1) 언어 모델은 암묵적 추론을 통해 단계별 추론을 수행할 수 있으며, 도메인 내 및 도메인 외 테스트에서 높은 정확도를 달성할 수 있습니다. 그러나 이러한 능력은 고정된 패턴의 데이터로 학습할 때만 나타납니다. 2) 반면, 고정되지 않은 패턴의 데이터로 학습하여 나타나는 암묵적 추론 능력은 특정 패턴에 과적합되는 경향이 있어 더 나아가 일반화되지 못합니다. 특히, 이러한 한계는 최신 대형 언어 모델에서도 관찰됩니다. 이러한 결과는 언어 모델이 단축 학습(shortcut learning)을 통해 암묵적 추론을 습득하며, 유사한 패턴의 작업에서는 강력한 성능을 발휘하지만 일반화 능력이 부족함을 시사합니다.

English

Test-time compute is emerging as a new paradigm for enhancing language models' complex multi-step reasoning capabilities, as demonstrated by the success of OpenAI's o1 and o3, as well as DeepSeek's R1. Compared to explicit reasoning in test-time compute, implicit reasoning is more inference-efficient, requiring fewer generated tokens. However, why does the advanced reasoning capability fail to emerge in the implicit reasoning style? In this work, we train GPT-2 from scratch on a curated multi-step mathematical reasoning dataset and conduct analytical experiments to investigate how language models perform implicit reasoning in multi-step tasks. Our findings reveal: 1) Language models can perform step-by-step reasoning and achieve high accuracy in both in-domain and out-of-domain tests via implicit reasoning. However, this capability only emerges when trained on fixed-pattern data. 2) Conversely, implicit reasoning abilities emerging from training on unfixed-pattern data tend to overfit a specific pattern and fail to generalize further. Notably, this limitation is also observed in state-of-the-art large language models. These findings suggest that language models acquire implicit reasoning through shortcut learning, enabling strong performance on tasks with similar patterns while lacking generalization.