재귀적 잠재 공간 추론을 통한 트랜스포머의 분포 외 일반화 능력 개방

초록

훈련 분포를 넘어선 체계적이고 구성적인 일반화는 여전히 기계 학습의 핵심 과제이며, 현대 언어 모델의 등장하는 추론 능력에 있어 중요한 병목 현상으로 남아 있다. 본 연구는 GSM8K 스타일의 모듈러 산술을 계산 그래프 작업에 적용하여 Transformer 네트워크의 분포 외 일반화(out-of-distribution, OOD)를 조사한다. 우리는 OOD 일반화를 강화하기 위한 네 가지 구조적 메커니즘을 소개하고 탐구한다: (i) 입력-적응적 반복성; (ii) 알고리즘적 감독; (iii) 이산 병목을 통한 고정된 잠재 표현; 그리고 (iv) 명시적 오류 수정 메커니즘. 이러한 메커니즘들은 Transformer 네트워크에서 강력한 알고리즘적 일반화 능력을 갖춘 기본적이고 확장 가능한 잠재 공간 추론을 위한 구조적 접근 방식을 제공한다. 우리는 이러한 실험적 결과를 보완하기 위해, 이러한 메커니즘이 어떻게 강력한 OOD 일반화 능력을 발생시키는지 밝히는 상세한 기계적 해석 가능성 분석을 수행한다.

English

Systematic, compositional generalization beyond the training distribution remains a core challenge in machine learning -- and a critical bottleneck for the emergent reasoning abilities of modern language models. This work investigates out-of-distribution (OOD) generalization in Transformer networks using a GSM8K-style modular arithmetic on computational graphs task as a testbed. We introduce and explore a set of four architectural mechanisms aimed at enhancing OOD generalization: (i) input-adaptive recurrence; (ii) algorithmic supervision; (iii) anchored latent representations via a discrete bottleneck; and (iv) an explicit error-correction mechanism. Collectively, these mechanisms yield an architectural approach for native and scalable latent space reasoning in Transformer networks with robust algorithmic generalization capabilities. We complement these empirical results with a detailed mechanistic interpretability analysis that reveals how these mechanisms give rise to robust OOD generalization abilities.

재귀적 잠재 공간 추론을 통한 트랜스포머의 분포 외 일반화 능력 개방

Unlocking Out-of-Distribution Generalization in Transformers via Recursive Latent Space Reasoning

초록

Support