Resolvendo o Loop: Modelos Atratores para Linguagem e Raciocínio

Resumo

Transformadores em Loop oferecem uma alternativa promissora à computação puramente feed-forward ao refinar iterativamente representações latentes, melhorando a modelagem de linguagem e o raciocínio. No entanto, arquiteturas recorrentes permanecem instáveis para treinar, caras para otimizar e implantar, e restritas a profundidades de recorrência pequenas e fixas. Apresentamos Modelos Atratores, nos quais um módulo backbone primeiro propõe embeddings de saída, e um módulo atrator os refina ao resolver o ponto fixo, com gradientes obtidos por diferenciação implícita. Assim, a memória de treinamento permanece constante na profundidade efetiva, e as iterações são escolhidas adaptativamente por convergência. Empiricamente, Modelos Atratores superam modelos existentes em dois regimes: pré-treinamento de modelos de linguagem em larga escala e raciocínio com modelos pequenos. Na modelagem de linguagem, Modelos Atratores proporcionam uma melhoria de Pareto em relação a Transformadores padrão e modelos em loop estáveis em diversos tamanhos, melhorando a perplexidade em até 46,6% e a precisão downstream em até 19,7%, enquanto reduzem o custo de treinamento. Notavelmente, um Modelo Atrator de 770M supera um Transformador de 1,3B treinado com o dobro de tokens. Em tarefas desafiadoras de raciocínio, mostramos que nosso modelo com apenas 27M de parâmetros e aproximadamente 1000 exemplos atinge 91,4% de precisão no Sudoku-Extreme e 93,1% no Maze-Hard, escalando favoravelmente onde modelos de fronteira como Claude e GPT o3 falham completamente, e raciocinadores recursivos especializados colapsam em tamanhos maiores. Por fim, mostramos que Modelos Atratores exibem um fenômeno novo, que chamamos de internalização de equilíbrio: o treinamento com ponto fixo posiciona o embedding de saída inicial do modelo próximo ao equilíbrio, permitindo que o solver seja removido na inferência com pouca degradação. Em conjunto, esses resultados sugerem que Modelos Atratores tornam o refinamento iterativo escalável ao transformar a recorrência em uma computação que o modelo pode aprender a internalizar.

English

Looped Transformers offer a promising alternative to purely feed-forward computation by iteratively refining latent representations, improving language modeling and reasoning. Yet recurrent architectures remain unstable to train, costly to optimize and deploy, and constrained to small, fixed recurrence depths. We introduce Attractor Models, in which a backbone module first proposes output embeddings, then an attractor module refines them by solving for the fixed point, with gradients obtained through implicit differentiation. Thus, training memory remains constant in effective depth, and iterations are chosen adaptively by convergence. Empirically, Attractor Models outperform existing models across two regimes, large-scale language-model pretraining and reasoning with tiny models. In language modeling, Attractor Models deliver a Pareto improvement over standard Transformers and stable looped models across sizes, improving perplexity by up to 46.6% and downstream accuracy by up to 19.7% while reducing training cost. Notably, a 770M Attractor Model outperforms a 1.3B Transformer trained on twice as many tokens. On challenging reasoning tasks, we show that our model with only 27M parameters and approximately 1000 examples achieves 91.4% accuracy on Sudoku-Extreme and 93.1% on Maze-Hard, scaling favorably where frontier models like Claude and GPT o3, fail completely, and specialized recursive reasoners collapse at larger sizes. Lastly, we show that Attractor Models exhibit a novel phenomenon, which we call equilibrium internalization: fixed-point training places the model's initial output embedding near equilibrium, allowing the solver to be removed at inference time with little degradation. Together, these results suggest that Attractor Models make iterative refinement scalable by turning recurrence into a computation the model can learn to internalize.