繞圈圈樂！

摘要

我們介紹 Loopie，這是目前為止最強大的循環式 Transformer 系列。Loopie 系列包含兩個混合專家（MoE）模型：一個 200 億參數模型（20B，其中 20 億為活躍參數），以及一個 60 億參數模型（6B，其中 6 億為活躍參數）。循環式 Transformer 長期以來面臨一項挑戰：若預訓練計算量增加 N 倍，將參數量提升 N 倍通常優於將模型循環 N 次。Loopie 成功解決了這項挑戰。大量的消融實驗（包括與普通 30B-A3B 模型的比較）顯示，在相同計算預算下，Loopie 明顯優於標準 Transformer 基準模型。我們新穎的後訓練流程賦予 Loopie 強大的推理能力。在 2025 年國際數學與物理奧林匹亞競賽中，Loopie 無需使用工具便達到了金牌水準。

English

We present Loopie, the most powerful looped Transformer to date. The Loopie series consists of two Mixture-of-Experts (MoE) models: a 20B-parameter model with 2B active parameters and a 6Bparameter model with 0.6B active parameters. Looped Transformers have long faced a challenge: given an N-fold increase in pre-training compute, increasing the parameter count by a factor of N usually outperforms looping a model N times. Loopie addresses this challenge. Extensive ablation studies, including comparisons with a vanilla 30B-A3B model, show that Loopie substantially outperforms vanilla Transformer baselines trained with the same compute budget. Our novel post-training pipeline equips Loopie with strong reasoning abilities. At the 2025 IMO and IPhO, Loopie achieves gold-medal performance without tools.

繞圈圈樂！

Loop the Loopies!

摘要

Support