Раскрытие обобщения для данных вне распределения в трансформаторах через рекурсивное рассуждение в латентном пространстве

Unlocking Out-of-Distribution Generalization in Transformers via Recursive Latent Space Reasoning

October 15, 2025

Авторы: Awni Altabaa, Siyu Chen, John Lafferty, Zhuoran Yang

cs.AI

Аннотация

Систематическая композиционная генерализация за пределами обучающего распределения остается ключевой проблемой в машинном обучении и серьезным ограничением для развивающихся способностей к рассуждению современных языковых моделей. В данной работе исследуется обобщение за пределами распределения (out-of-distribution, OOD) в трансформерных сетях на примере задачи модулярной арифметики на вычислительных графах в стиле GSM8K. Мы представляем и исследуем набор из четырех архитектурных механизмов, направленных на улучшение OOD-обобщения: (i) адаптивная рекуррентность на основе входных данных; (ii) алгоритмический контроль; (iii) закрепленные латентные представления через дискретный бутылочный слой; и (iv) явный механизм коррекции ошибок. В совокупности эти механизмы формируют архитектурный подход для естественного и масштабируемого рассуждения в латентном пространстве трансформерных сетей с устойчивыми возможностями алгоритмического обобщения. Мы дополняем эти эмпирические результаты детальным анализом механистической интерпретируемости, который раскрывает, как данные механизмы способствуют формированию устойчивых способностей к OOD-обобщению.

English

Systematic, compositional generalization beyond the training distribution remains a core challenge in machine learning -- and a critical bottleneck for the emergent reasoning abilities of modern language models. This work investigates out-of-distribution (OOD) generalization in Transformer networks using a GSM8K-style modular arithmetic on computational graphs task as a testbed. We introduce and explore a set of four architectural mechanisms aimed at enhancing OOD generalization: (i) input-adaptive recurrence; (ii) algorithmic supervision; (iii) anchored latent representations via a discrete bottleneck; and (iv) an explicit error-correction mechanism. Collectively, these mechanisms yield an architectural approach for native and scalable latent space reasoning in Transformer networks with robust algorithmic generalization capabilities. We complement these empirical results with a detailed mechanistic interpretability analysis that reveals how these mechanisms give rise to robust OOD generalization abilities.