トランスフォーマーにおける分布外汎化の実現：再帰的潜在空間推論によるアプローチ

要旨

体系的で合成的な一般化能力を、訓練分布を超えて実現することは、機械学習における中核的な課題であり、現代の言語モデルが持つ新興の推論能力にとって重大なボトルネックとなっている。本研究では、Transformerネットワークにおける分布外（OOD）一般化を、GSM8Kスタイルの計算グラフ上のモジュラー算術タスクをテストベッドとして調査する。OOD一般化を強化するための4つのアーキテクチャメカニズムを導入し、探求する：(i) 入力適応型再帰、(ii) アルゴリズム的教師あり学習、(iii) 離散ボトルネックによるアンカー付き潜在表現、そして(iv) 明示的な誤り訂正メカニズムである。これらのメカニズムを統合することで、Transformerネットワークにおいて、堅牢なアルゴリズム的一般化能力を備えたネイティブでスケーラブルな潜在空間推論を実現するアーキテクチャ手法を提案する。これらの実験結果を補完するため、詳細なメカニズム解釈分析を行い、これらのメカニズムがどのようにして堅牢なOOD一般化能力を生み出すかを明らかにする。

English

Systematic, compositional generalization beyond the training distribution remains a core challenge in machine learning -- and a critical bottleneck for the emergent reasoning abilities of modern language models. This work investigates out-of-distribution (OOD) generalization in Transformer networks using a GSM8K-style modular arithmetic on computational graphs task as a testbed. We introduce and explore a set of four architectural mechanisms aimed at enhancing OOD generalization: (i) input-adaptive recurrence; (ii) algorithmic supervision; (iii) anchored latent representations via a discrete bottleneck; and (iv) an explicit error-correction mechanism. Collectively, these mechanisms yield an architectural approach for native and scalable latent space reasoning in Transformer networks with robust algorithmic generalization capabilities. We complement these empirical results with a detailed mechanistic interpretability analysis that reveals how these mechanisms give rise to robust OOD generalization abilities.

トランスフォーマーにおける分布外汎化の実現：再帰的潜在空間推論によるアプローチ

Unlocking Out-of-Distribution Generalization in Transformers via Recursive Latent Space Reasoning

要旨

Support