LoopFormer: ショートカット変調による潜在推論のための弾性深度ループトランスフォーマー
LoopFormer: Elastic-Depth Looped Transformers for Latent Reasoning via Shortcut Modulation
February 11, 2026
著者: Ahmadreza Jeddi, Marco Ciccone, Babak Taati
cs.AI
要旨
ループ構造を持つトランスフォーマーは、言語領域における推論タスクにおいて効率的かつ強力なモデル群として台頭してきました。最近の研究では、これらのモデルがアルゴリズム的タスクや推論タスクで高い性能を達成することが示されており、ループ構造を持つアーキテクチャが潜在的な推論能力に対する帰納的バイアスを有していることが示唆されています。しかし、従来のアプローチでは学習時と推論時のループ反復回数を固定しており、可変の計算予算のもとでこれらのモデルが計算の深さを柔軟に適応させられるかという問題は未解決のままでした。本論文では、可変長の軌道上で学習されたループ構造トランスフォーマーであるLoopFormerを提案し、予算条件付き推論を実現します。中核となる貢献は、異なる長さの軌道を整合させるショートカット一貫性学習手法であり、短いループが有益な表現を生成しつつ、長いループがそれを洗練し続けることを保証します。LoopFormerは各ループを現在の時間とステップサイズで条件付けし、表現が長さの異なる軌道間で一貫して進化する（ドリフトや停滞を起こさない）ことを可能にします。実証的に、LoopFormerは積極的な計算制約下でも言語モデリングと推論ベンチマークで堅牢な性能を示し、追加予算に応じて優雅にスケーリングします。これらの結果は、ループ構造トランスフォーマーが適応的言語モデリングに本質的に適していることを示し、制御可能かつ予算を意識した大規模言語モデルへの道を開くものです。
English
Looped Transformers have emerged as an efficient and powerful class of models for reasoning in the language domain. Recent studies show that these models achieve strong performance on algorithmic and reasoning tasks, suggesting that looped architectures possess an inductive bias toward latent reasoning. However, prior approaches fix the number of loop iterations during training and inference, leaving open the question of whether these models can flexibly adapt their computational depth under variable compute budgets. We introduce LoopFormer, a looped Transformer trained on variable-length trajectories to enable budget-conditioned reasoning. Our core contribution is a shortcut-consistency training scheme that aligns trajectories of different lengths, ensuring that shorter loops yield informative representations while longer loops continue to refine them. LoopFormer conditions each loop on the current time and step size, enabling representations to evolve consistently across trajectories of varying length rather than drifting or stagnating. Empirically, LoopFormer demonstrates robust performance on language modeling and reasoning benchmarks even under aggressive compute constraints, while scaling gracefully with additional budget. These results show that looped Transformers are inherently suited for adaptive language modeling, opening a path toward controllable and budget-aware large language models.