LoopFormer: Elastisch-tiefe geloopte Transformer für latentes Schließen durch Kurzschlussmodulation
LoopFormer: Elastic-Depth Looped Transformers for Latent Reasoning via Shortcut Modulation
February 11, 2026
Autoren: Ahmadreza Jeddi, Marco Ciccone, Babak Taati
cs.AI
Zusammenfassung
Looped-Transformer haben sich als effiziente und leistungsstarke Modellklasse für das logische Schließen im Sprachbereich etabliert. Jüngste Studien zeigen, dass diese Modelle bei algorithmischen und logischen Aufgaben eine hohe Leistung erzielen, was nahelegt, dass looped-Architekturen eine induktive Verzerrung hin zu latentem logischen Schließen aufweisen. Bisherige Ansätze legten die Anzahl der Schleifeniterationen während des Trainings und des Inferenzvorgangs jedoch fest, sodass die Frage offenblieb, ob diese Modelle ihre Rechentiefe flexibel an variable Rechenbudgets anpassen können. Wir stellen LoopFormer vor, einen looped-Transformer, der auf Trajektorien variabler Länge trainiert wird, um budgetkonditioniertes logisches Schließen zu ermöglichen. Unser zentraler Beitrag ist ein Shortcut-Consistency-Trainingsschema, das Trajektorien unterschiedlicher Länge abstimmt und sicherstellt, dass kürzere Schleifen informative Repräsentationen liefern, während längere Schleifen diese weiter verfeinern. LoopFormer konditioniert jede Schleife auf die aktuelle Zeit und Schrittweite, wodurch sich Repräsentationen konsistent über Trajektorien variabler Länge entwickeln können, anstatt abzudriften oder zu stagnieren. Empirisch zeigt LoopFormer eine robuste Leistung bei Sprachmodellierungs- und logischen Benchmarks, selbst unter aggressiven Rechenbeschränkungen, und skaliert gleichzeitig elegant mit zusätzlichem Budget. Diese Ergebnisse zeigen, dass looped-Transformer inhärent für adaptive Sprachmodellierung geeignet sind und einen Weg zu kontrollierbaren und budgetbewussten großen Sprachmodellen eröffnen.
English
Looped Transformers have emerged as an efficient and powerful class of models for reasoning in the language domain. Recent studies show that these models achieve strong performance on algorithmic and reasoning tasks, suggesting that looped architectures possess an inductive bias toward latent reasoning. However, prior approaches fix the number of loop iterations during training and inference, leaving open the question of whether these models can flexibly adapt their computational depth under variable compute budgets. We introduce LoopFormer, a looped Transformer trained on variable-length trajectories to enable budget-conditioned reasoning. Our core contribution is a shortcut-consistency training scheme that aligns trajectories of different lengths, ensuring that shorter loops yield informative representations while longer loops continue to refine them. LoopFormer conditions each loop on the current time and step size, enabling representations to evolve consistently across trajectories of varying length rather than drifting or stagnating. Empirically, LoopFormer demonstrates robust performance on language modeling and reasoning benchmarks even under aggressive compute constraints, while scaling gracefully with additional budget. These results show that looped Transformers are inherently suited for adaptive language modeling, opening a path toward controllable and budget-aware large language models.