Los de Lus op: Attractormodellen voor Taal en Redeneren

Samenvatting

Looped Transformers bieden een veelbelovend alternatief voor puur feed-forward berekening door iteratief latente representaties te verfijnen, wat taalmodellering en redeneren verbetert. Toch blijven recurrente architecturen instabiel om te trainen, duur om te optimaliseren en te implementeren, en beperkt tot kleine, vaste recursiedieptes. We introduceren Attractormodellen, waarin een backbone-module eerst output-embeddings voorstelt, waarna een attractor-module ze verfijnt door het vaste punt op te lossen, met gradienten verkregen via impliciete differentiatie. Het trainingsgeheugen blijft dus constant in effectieve diepte, en iteraties worden adaptief gekozen op basis van convergentie. Empirisch gezien presteren Attractormodellen beter dan bestaande modellen in twee regimes: grootschalige taalmodel-pretraining en redeneren met kleine modellen. In taalmodellering leveren Attractormodellen een Pareto-verbetering op ten opzichte van standaard Transformers en stabiele looped modellen van verschillende groottes, met een verbetering van de perplexiteit tot 46,6% en downstream-nauwkeurigheid tot 19,7%, terwijl de trainingskosten dalen. Opmerkelijk is dat een 770M Attractormodel beter presteert dan een 1,3B Transformer die is getraind op twee keer zoveel tokens. Bij uitdagende redeneertaken laten we zien dat ons model met slechts 27M parameters en ongeveer 1000 voorbeelden een nauwkeurigheid van 91,4% behaalt op Sudoku-Extreme en 93,1% op Maze-Hard, gunstig schalend waar grensverleggende modellen zoals Claude en GPT o3 volledig falen, en gespecialiseerde recursieve redeneerders instorten bij grotere afmetingen. Tot slot tonen we aan dat Attractormodellen een nieuw fenomeen vertonen, dat we evenwichtsinternalisatie noemen: fixed-point training plaatst de initiële output-embedding van het model dicht bij het evenwicht, waardoor de oplosser tijdens inferentie kan worden verwijderd met weinig degradatie. Samen suggereren deze resultaten dat Attractormodellen iteratieve verfijning schaalbaar maken door recursie om te zetten in een berekening die het model kan leren internaliseren.

English

Looped Transformers offer a promising alternative to purely feed-forward computation by iteratively refining latent representations, improving language modeling and reasoning. Yet recurrent architectures remain unstable to train, costly to optimize and deploy, and constrained to small, fixed recurrence depths. We introduce Attractor Models, in which a backbone module first proposes output embeddings, then an attractor module refines them by solving for the fixed point, with gradients obtained through implicit differentiation. Thus, training memory remains constant in effective depth, and iterations are chosen adaptively by convergence. Empirically, Attractor Models outperform existing models across two regimes, large-scale language-model pretraining and reasoning with tiny models. In language modeling, Attractor Models deliver a Pareto improvement over standard Transformers and stable looped models across sizes, improving perplexity by up to 46.6% and downstream accuracy by up to 19.7% while reducing training cost. Notably, a 770M Attractor Model outperforms a 1.3B Transformer trained on twice as many tokens. On challenging reasoning tasks, we show that our model with only 27M parameters and approximately 1000 examples achieves 91.4% accuracy on Sudoku-Extreme and 93.1% on Maze-Hard, scaling favorably where frontier models like Claude and GPT o3, fail completely, and specialized recursive reasoners collapse at larger sizes. Lastly, we show that Attractor Models exhibit a novel phenomenon, which we call equilibrium internalization: fixed-point training places the model's initial output embedding near equilibrium, allowing the solver to be removed at inference time with little degradation. Together, these results suggest that Attractor Models make iterative refinement scalable by turning recurrence into a computation the model can learn to internalize.