LoopFormer: 숏컷 변조를 통한 잠재적 추론을 위한 탄력적 깊이 순환 트랜스포머

LoopFormer: Elastic-Depth Looped Transformers for Latent Reasoning via Shortcut Modulation

February 11, 2026

저자: Ahmadreza Jeddi, Marco Ciccone, Babak Taati

cs.AI

초록

루프 트랜스포머는 언어 영역에서 추론을 위한 효율적이고 강력한 모델 클래스로 부상했습니다. 최근 연구들은 이러한 모델들이 알고리즘 및 추론 과제에서 높은 성능을 달성함으로써, 루프 아키텍처가 잠재적 추론에 대한 귀납적 편향을 지니고 있음을 시사합니다. 그러나 기존 접근법들은 학습과 추론 동안 루프 반복 횟수를 고정하여, 이러한 모델들이 가변적인 계산 예산 하에서 계산 깊이를 유연하게 조절할 수 있는지에 대한 의문을 남겼습니다. 우리는 예산 조건 추론을 가능하게 하기 위해 가변 길이 트랙토리로 학습된 LoopFormer를 소개합니다. 우리의 핵심 기여는 서로 다른 길이의 트랙토리를 정렬하는 단축 일관성 학습 기법으로, 짧은 루프는 유익한 표현을 생성하면서도 긴 루프는 이를 계속 정제하도록 보장합니다. LoopFormer는 각 루프를 현재 시간과 스텝 크기에 조건화하여, 표현이 표류나 정체되지 않고 다양한 길이의 트랙토리에서 일관되게 발전하도록 합니다. 실험적으로 LoopFormer는 공격적인 계산 제약 조건 하에서도 언어 모델링 및 추론 벤치마크에서 견고한 성능을 보여주며, 추가 예산에 따라 유연하게 확장됩니다. 이러한 결과는 루프 트랜스포머가 적응형 언어 모델링에 본질적으로 적합함을 보여주며, 제어 가능하고 예산을 인지하는 대규모 언어 모델로 가는 길을 열어줍니다.

English

Looped Transformers have emerged as an efficient and powerful class of models for reasoning in the language domain. Recent studies show that these models achieve strong performance on algorithmic and reasoning tasks, suggesting that looped architectures possess an inductive bias toward latent reasoning. However, prior approaches fix the number of loop iterations during training and inference, leaving open the question of whether these models can flexibly adapt their computational depth under variable compute budgets. We introduce LoopFormer, a looped Transformer trained on variable-length trajectories to enable budget-conditioned reasoning. Our core contribution is a shortcut-consistency training scheme that aligns trajectories of different lengths, ensuring that shorter loops yield informative representations while longer loops continue to refine them. LoopFormer conditions each loop on the current time and step size, enabling representations to evolve consistently across trajectories of varying length rather than drifting or stagnating. Empirically, LoopFormer demonstrates robust performance on language modeling and reasoning benchmarks even under aggressive compute constraints, while scaling gracefully with additional budget. These results show that looped Transformers are inherently suited for adaptive language modeling, opening a path toward controllable and budget-aware large language models.