LoopFormer: Transformadores de Bucle de Profundidad Elástica para Razonamiento Latente mediante Modulación de Accesos Directos
LoopFormer: Elastic-Depth Looped Transformers for Latent Reasoning via Shortcut Modulation
February 11, 2026
Autores: Ahmadreza Jeddi, Marco Ciccone, Babak Taati
cs.AI
Resumen
Los Transformadores con Bucles han surgido como una clase de modelos eficiente y potente para el razonamiento en el dominio lingüístico. Estudios recientes muestran que estos modelos logran un rendimiento sólido en tareas algorítmicas y de razonamiento, lo que sugiere que las arquitecturas con bucles poseen un sesgo inductivo hacia el razonamiento latente. Sin embargo, los enfoques previos fijan el número de iteraciones del bucle durante el entrenamiento y la inferencia, dejando abierta la cuestión de si estos modelos pueden adaptar flexiblemente su profundidad computacional bajo presupuestos de cálculo variables. Presentamos LoopFormer, un Transformer con bucles entrenado en trayectorias de longitud variable para permitir un razonamiento condicionado por el presupuesto. Nuestra contribución principal es un esquema de entrenamiento de consistencia por atajos que alinea trayectorias de diferentes longitudes, garantizando que los bucles más cortos produzcan representaciones informativas mientras que los bucles más largos continúan refinándolas. LoopFormer condiciona cada bucle al tiempo actual y al tamaño del paso, permitiendo que las representaciones evolucionen de manera consistente a través de trayectorias de longitud variable en lugar de derivar o estancarse. Empíricamente, LoopFormer demuestra un rendimiento robusto en benchmarks de modelado del lenguaje y razonamiento, incluso bajo restricciones computacionales agresivas, mientras escala de forma gradual con un presupuesto adicional. Estos resultados muestran que los Transformadores con bucles son inherentemente adecuados para el modelado adaptable del lenguaje, abriendo un camino hacia modelos de lenguaje grandes controlables y conscientes del presupuesto.
English
Looped Transformers have emerged as an efficient and powerful class of models for reasoning in the language domain. Recent studies show that these models achieve strong performance on algorithmic and reasoning tasks, suggesting that looped architectures possess an inductive bias toward latent reasoning. However, prior approaches fix the number of loop iterations during training and inference, leaving open the question of whether these models can flexibly adapt their computational depth under variable compute budgets. We introduce LoopFormer, a looped Transformer trained on variable-length trajectories to enable budget-conditioned reasoning. Our core contribution is a shortcut-consistency training scheme that aligns trajectories of different lengths, ensuring that shorter loops yield informative representations while longer loops continue to refine them. LoopFormer conditions each loop on the current time and step size, enabling representations to evolve consistently across trajectories of varying length rather than drifting or stagnating. Empirically, LoopFormer demonstrates robust performance on language modeling and reasoning benchmarks even under aggressive compute constraints, while scaling gracefully with additional budget. These results show that looped Transformers are inherently suited for adaptive language modeling, opening a path toward controllable and budget-aware large language models.