Resolviendo el bucle: Modelos de atractores para el lenguaje y el razonamiento

Solve the Loop: Attractor Models for Language and Reasoning

May 12, 2026

Autores: Jacob Fein-Ashley, Paria Rashidinejad

cs.AI

Resumen

Los Transformadores en bucle ofrecen una alternativa prometedora a la computación puramente feed-forward al refinar iterativamente las representaciones latentes, mejorando el modelado del lenguaje y el razonamiento. Sin embargo, las arquitecturas recurrentes siguen siendo inestables de entrenar, costosas de optimizar y desplegar, y limitadas a profundidades de recurrencia pequeñas y fijas. Introducimos los Modelos Atractor, en los que un módulo backbone propone primero embeddings de salida, luego un módulo atractor los refina resolviendo el punto fijo, obteniendo gradientes mediante diferenciación implícita. Así, la memoria de entrenamiento se mantiene constante en profundidad efectiva, y las iteraciones se eligen adaptativamente por convergencia. Empíricamente, los Modelos Atractor superan a los modelos existentes en dos regímenes: preentrenamiento de modelos de lenguaje a gran escala y razonamiento con modelos diminutos. En el modelado del lenguaje, los Modelos Atractor ofrecen una mejora de Pareto sobre los Transformadores estándar y los modelos en bucle estables en todos los tamaños, mejorando la perplejidad hasta en un 46.6% y la precisión en tareas posteriores hasta en un 19.7%, al tiempo que reducen el costo de entrenamiento. Notablemente, un Modelo Atractor de 770M supera a un Transformador de 1.3B entrenado con el doble de tokens. En tareas de razonamiento desafiantes, mostramos que nuestro modelo con solo 27M de parámetros y aproximadamente 1000 ejemplos logra un 91.4% de precisión en Sudoku-Extreme y un 93.1% en Maze-Hard, escalando favorablemente donde los modelos de frontera como Claude y GPT o3 fallan por completo, y los razonadores recursivos especializados colapsan en tamaños mayores. Por último, mostramos que los Modelos Atractor exhiben un fenómeno novedoso, que denominamos internalización del equilibrio: el entrenamiento de punto fijo sitúa el embedding de salida inicial del modelo cerca del equilibrio, permitiendo eliminar el solucionador en el momento de la inferencia con poca degradación. En conjunto, estos resultados sugieren que los Modelos Atractor hacen escalable el refinamiento iterativo al convertir la recurrencia en un cálculo que el modelo puede aprender a internalizar.

English

Looped Transformers offer a promising alternative to purely feed-forward computation by iteratively refining latent representations, improving language modeling and reasoning. Yet recurrent architectures remain unstable to train, costly to optimize and deploy, and constrained to small, fixed recurrence depths. We introduce Attractor Models, in which a backbone module first proposes output embeddings, then an attractor module refines them by solving for the fixed point, with gradients obtained through implicit differentiation. Thus, training memory remains constant in effective depth, and iterations are chosen adaptively by convergence. Empirically, Attractor Models outperform existing models across two regimes, large-scale language-model pretraining and reasoning with tiny models. In language modeling, Attractor Models deliver a Pareto improvement over standard Transformers and stable looped models across sizes, improving perplexity by up to 46.6% and downstream accuracy by up to 19.7% while reducing training cost. Notably, a 770M Attractor Model outperforms a 1.3B Transformer trained on twice as many tokens. On challenging reasoning tasks, we show that our model with only 27M parameters and approximately 1000 examples achieves 91.4% accuracy on Sudoku-Extreme and 93.1% on Maze-Hard, scaling favorably where frontier models like Claude and GPT o3, fail completely, and specialized recursive reasoners collapse at larger sizes. Lastly, we show that Attractor Models exhibit a novel phenomenon, which we call equilibrium internalization: fixed-point training places the model's initial output embedding near equilibrium, allowing the solver to be removed at inference time with little degradation. Together, these results suggest that Attractor Models make iterative refinement scalable by turning recurrence into a computation the model can learn to internalize.