LoopFormer: Elastisch-Diepe Geluspte Transformers voor Latente Redenering via Snelkoppelingsmodulatie
LoopFormer: Elastic-Depth Looped Transformers for Latent Reasoning via Shortcut Modulation
February 11, 2026
Auteurs: Ahmadreza Jeddi, Marco Ciccone, Babak Taati
cs.AI
Samenvatting
Looped Transformers zijn naar voren gekomen als een efficiënte en krachtige klasse van modellen voor redeneren in het taaldomein. Recente studies tonen aan dat deze modellen sterke prestaties leveren op algoritmische en redeneertaken, wat suggereert dat geloopte architecturen een inductieve bias bezitten ten aanzien van latent redeneren. Eerdere benaderingen stellen echter het aantal loopiteraties vast tijdens training en inferentie, waardoor de vraag openblijft of deze modellen hun computationele diepte flexibel kunnen aanpassen onder variabele rekenbudgetten. Wij introduceren LoopFormer, een geloopt Transformer-model getraind op trajecten met variabele lengte om budget-gestuurd redeneren mogelijk te maken. Onze kernbijdrage is een *shortcut-consistency* trainingsschema dat trajecten van verschillende lengten uitlijnt, zodat kortere loops informatieve representaties opleveren terwijl langere loops deze blijven verfijnen. LoopFormer conditioneert elke loop op de huidige tijd en stapgrootte, waardoor representaties consistent evolueren over trajecten van uiteenlopende lengte in plaats van af te drijven of te stagneren. Empirisch toont LoopFormer robuuste prestaties op taalmodellerings- en redeneerbenchmarks, zelfs onder agressieve rekenbeperkingen, en schaalt het soepel met een extra budget. Deze resultaten tonen aan dat geloopte Transformers inherent geschikt zijn voor adaptieve taalmodellering, wat een weg opent naar beheerbare en budgetbewuste grote taalmodellen.
English
Looped Transformers have emerged as an efficient and powerful class of models for reasoning in the language domain. Recent studies show that these models achieve strong performance on algorithmic and reasoning tasks, suggesting that looped architectures possess an inductive bias toward latent reasoning. However, prior approaches fix the number of loop iterations during training and inference, leaving open the question of whether these models can flexibly adapt their computational depth under variable compute budgets. We introduce LoopFormer, a looped Transformer trained on variable-length trajectories to enable budget-conditioned reasoning. Our core contribution is a shortcut-consistency training scheme that aligns trajectories of different lengths, ensuring that shorter loops yield informative representations while longer loops continue to refine them. LoopFormer conditions each loop on the current time and step size, enabling representations to evolve consistently across trajectories of varying length rather than drifting or stagnating. Empirically, LoopFormer demonstrates robust performance on language modeling and reasoning benchmarks even under aggressive compute constraints, while scaling gracefully with additional budget. These results show that looped Transformers are inherently suited for adaptive language modeling, opening a path toward controllable and budget-aware large language models.