Résoudre la boucle : modèles d'attracteurs pour le langage et le raisonnement

Solve the Loop: Attractor Models for Language and Reasoning

May 12, 2026

Auteurs: Jacob Fein-Ashley, Paria Rashidinejad

cs.AI

Résumé

Les Transformers en boucle offrent une alternative prometteuse au calcul purement feed-forward en raffinant itérativement des représentations latentes, ce qui améliore la modélisation du langage et le raisonnement. Cependant, les architectures récurrentes restent instables à entraîner, coûteuses à optimiser et à déployer, et limitées à des profondeurs de récurrence petites et fixes. Nous introduisons les Modèles Attracteurs, dans lesquels un module principal propose d'abord des plongements de sortie, puis un module attracteur les affine en résolvant le point fixe, les gradients étant obtenus par différenciation implicite. Ainsi, la mémoire d'entraînement reste constante par rapport à la profondeur effective, et les itérations sont choisies de manière adaptative par convergence. Empiriquement, les Modèles Attracteurs surpassent les modèles existants dans deux régimes : le pré-entraînement de modèles de langage à grande échelle et le raisonnement avec des modèles de très petite taille. En modélisation du langage, les Modèles Attracteurs offrent une amélioration de Pareto par rapport aux Transformers standards et aux modèles en boucle stables de toutes tailles, améliorant la perplexité jusqu'à 46,6 % et la précision en aval jusqu'à 19,7 %, tout en réduisant le coût d'entraînement. Notamment, un Modèle Attracteur de 770M dépasse un Transformer de 1,3B entraîné sur deux fois plus de tokens. Sur des tâches de raisonnement difficiles, nous montrons que notre modèle, avec seulement 27M de paramètres et environ 1000 exemples, atteint une précision de 91,4 % sur Sudoku-Extreme et de 93,1 % sur Maze-Hard, avec un passage à l'échelle favorable là où des modèles de pointe comme Claude et GPT o3 échouent complètement, et où les raisonneurs récursifs spécialisés s'effondrent pour des tailles plus grandes. Enfin, nous montrons que les Modèles Attracteurs présentent un phénomène nouveau, que nous appelons internalisation de l'équilibre : l'entraînement par point fixe place le plongement de sortie initial du modèle près de l'équilibre, permettant de supprimer le solveur lors de l'inférence avec une dégradation minime. Ensemble, ces résultats suggèrent que les Modèles Attracteurs rendent le raffinement itératif scalable en transformant la récurrence en un calcul que le modèle peut apprendre à internaliser.

English

Looped Transformers offer a promising alternative to purely feed-forward computation by iteratively refining latent representations, improving language modeling and reasoning. Yet recurrent architectures remain unstable to train, costly to optimize and deploy, and constrained to small, fixed recurrence depths. We introduce Attractor Models, in which a backbone module first proposes output embeddings, then an attractor module refines them by solving for the fixed point, with gradients obtained through implicit differentiation. Thus, training memory remains constant in effective depth, and iterations are chosen adaptively by convergence. Empirically, Attractor Models outperform existing models across two regimes, large-scale language-model pretraining and reasoning with tiny models. In language modeling, Attractor Models deliver a Pareto improvement over standard Transformers and stable looped models across sizes, improving perplexity by up to 46.6% and downstream accuracy by up to 19.7% while reducing training cost. Notably, a 770M Attractor Model outperforms a 1.3B Transformer trained on twice as many tokens. On challenging reasoning tasks, we show that our model with only 27M parameters and approximately 1000 examples achieves 91.4% accuracy on Sudoku-Extreme and 93.1% on Maze-Hard, scaling favorably where frontier models like Claude and GPT o3, fail completely, and specialized recursive reasoners collapse at larger sizes. Lastly, we show that Attractor Models exhibit a novel phenomenon, which we call equilibrium internalization: fixed-point training places the model's initial output embedding near equilibrium, allowing the solver to be removed at inference time with little degradation. Together, these results suggest that Attractor Models make iterative refinement scalable by turning recurrence into a computation the model can learn to internalize.