LoopFormer: Transformadores de Loop com Profundidade Elástica para Raciocínio Latente via Modulação de Atalhos
LoopFormer: Elastic-Depth Looped Transformers for Latent Reasoning via Shortcut Modulation
February 11, 2026
Autores: Ahmadreza Jeddi, Marco Ciccone, Babak Taati
cs.AI
Resumo
Os Transformers em Loop emergiram como uma classe eficiente e poderosa de modelos para raciocínio no domínio da linguagem. Estudos recentes mostram que esses modelos alcançam um desempenho sólido em tarefas algorítmicas e de raciocínio, sugerindo que as arquiteturas em loop possuem um viés indutivo em direção ao raciocínio latente. No entanto, abordagens anteriores fixam o número de iterações do loop durante o treinamento e a inferência, deixando em aberto a questão de se esses modelos podem adaptar flexivelmente sua profundidade computacional sob orçamentos de computação variáveis. Apresentamos o LoopFormer, um Transformer em loop treinado em trajetórias de comprimento variável para permitir o raciocínio condicionado ao orçamento computacional. Nossa principal contribuição é um esquema de treinamento por consistência de atalho que alinha trajetórias de diferentes comprimentos, garantindo que loops mais curtos produzam representações informativas enquanto loops mais longos continuam a refiná-las. O LoopFormer condiciona cada loop ao tempo atual e ao tamanho do passo, permitindo que as representações evoluam consistentemente através de trajetórias de comprimento variável, em vez de sofrerem desvio ou estagnação. Empiricamente, o LoopFormer demonstra um desempenho robusto em benchmarks de modelagem de linguagem e raciocínio, mesmo sob restrições computacionais agressivas, enquanto escala de forma graciosa com orçamento adicional. Esses resultados mostram que os Transformers em loop são inerentemente adequados para a modelagem de linguagem adaptativa, abrindo um caminho para grandes modelos de linguagem controláveis e conscientes do orçamento computacional.
English
Looped Transformers have emerged as an efficient and powerful class of models for reasoning in the language domain. Recent studies show that these models achieve strong performance on algorithmic and reasoning tasks, suggesting that looped architectures possess an inductive bias toward latent reasoning. However, prior approaches fix the number of loop iterations during training and inference, leaving open the question of whether these models can flexibly adapt their computational depth under variable compute budgets. We introduce LoopFormer, a looped Transformer trained on variable-length trajectories to enable budget-conditioned reasoning. Our core contribution is a shortcut-consistency training scheme that aligns trajectories of different lengths, ensuring that shorter loops yield informative representations while longer loops continue to refine them. LoopFormer conditions each loop on the current time and step size, enabling representations to evolve consistently across trajectories of varying length rather than drifting or stagnating. Empirically, LoopFormer demonstrates robust performance on language modeling and reasoning benchmarks even under aggressive compute constraints, while scaling gracefully with additional budget. These results show that looped Transformers are inherently suited for adaptive language modeling, opening a path toward controllable and budget-aware large language models.