Решить петлю: модели аттракторов для языка и рассуждения

Solve the Loop: Attractor Models for Language and Reasoning

May 12, 2026

Авторы: Jacob Fein-Ashley, Paria Rashidinejad

cs.AI

Аннотация

Циклические трансформеры предлагают многообещающую альтернативу чисто прямым вычислениям за счет итеративного уточнения латентных представлений, улучшая моделирование языка и рассуждения. Тем не менее, рекуррентные архитектуры остаются нестабильными при обучении, дорогими в оптимизации и развертывании, а также ограниченными малыми фиксированными глубинами рекуррентности. Мы представляем аттракторные модели, в которых базовый модуль сначала предлагает выходные эмбеддинги, а затем модуль-аттрактор уточняет их, решая задачу нахождения неподвижной точки, с получением градиентов посредством неявного дифференцирования. Таким образом, память при обучении остается постоянной относительно эффективной глубины, а итерации выбираются адаптивно по сходимости. Эмпирически аттракторные модели превосходят существующие модели в двух режимах: крупномасштабное предобучение языковых моделей и рассуждения с крошечными моделями. В моделировании языка аттракторные модели обеспечивают улучшение по Парето по сравнению со стандартными трансформерами и стабильными циклическими моделями различных размеров, улучшая перплексию до 46,6% и точность нижестоящих задач до 19,7% при снижении затрат на обучение. Примечательно, что аттракторная модель с 770 млн параметров превосходит трансформер с 1,3 млрд параметров, обученный на вдвое большем количестве токенов. На сложных задачах рассуждений мы показываем, что наша модель, имеющая всего 27 млн параметров и обученная примерно на 1000 примерах, достигает точности 91,4% на Sudoku-Extreme и 93,1% на Maze-Hard, масштабируясь благоприятно там, где передовые модели, такие как Claude и GPT o3, полностью терпят неудачу, а специализированные рекурсивные модели рассуждений разрушаются при больших размерах. Наконец, мы показываем, что аттракторные модели демонстрируют новое явление, которое мы называем интернализацией равновесия: обучение на неподвижных точках помещает исходный выходной эмбеддинг модели вблизи равновесия, что позволяет удалить решатель на этапе инференса с незначительной деградацией. В совокупности эти результаты позволяют предположить, что аттракторные модели делают итеративное уточнение масштабируемым, превращая рекуррентность в вычисление, которое модель может научиться интернализовать.

English

Looped Transformers offer a promising alternative to purely feed-forward computation by iteratively refining latent representations, improving language modeling and reasoning. Yet recurrent architectures remain unstable to train, costly to optimize and deploy, and constrained to small, fixed recurrence depths. We introduce Attractor Models, in which a backbone module first proposes output embeddings, then an attractor module refines them by solving for the fixed point, with gradients obtained through implicit differentiation. Thus, training memory remains constant in effective depth, and iterations are chosen adaptively by convergence. Empirically, Attractor Models outperform existing models across two regimes, large-scale language-model pretraining and reasoning with tiny models. In language modeling, Attractor Models deliver a Pareto improvement over standard Transformers and stable looped models across sizes, improving perplexity by up to 46.6% and downstream accuracy by up to 19.7% while reducing training cost. Notably, a 770M Attractor Model outperforms a 1.3B Transformer trained on twice as many tokens. On challenging reasoning tasks, we show that our model with only 27M parameters and approximately 1000 examples achieves 91.4% accuracy on Sudoku-Extreme and 93.1% on Maze-Hard, scaling favorably where frontier models like Claude and GPT o3, fail completely, and specialized recursive reasoners collapse at larger sizes. Lastly, we show that Attractor Models exhibit a novel phenomenon, which we call equilibrium internalization: fixed-point training places the model's initial output embedding near equilibrium, allowing the solver to be removed at inference time with little degradation. Together, these results suggest that Attractor Models make iterative refinement scalable by turning recurrence into a computation the model can learn to internalize.