ループ・ザ・ルーピーズ！

要旨

本稿では、これまでで最も強力なループ型TransformerであるLoopieを発表します。Loopieシリーズは2つのMixture-of-Experts（MoE）モデルから構成され、20Bパラメータ（アクティブパラメータ2B）のモデルと6Bパラメータ（アクティブパラメータ0.6B）のモデルがあります。ループ型Transformerは長年、ある課題に直面してきました。すなわち、事前学習の計算量がN倍増加した場合、通常はパラメータ数をN倍に増やす方が、モデルをN回ループさせるよりも優れた性能を発揮するというものです。Loopieはこの課題を解決します。標準的な30B-A3Bモデルとの比較を含む広範なアブレーション研究により、Loopieは同じ計算予算で学習された標準的なTransformerベースラインを大幅に上回ることが示されました。新規のポストトレーニングパイプラインにより、Loopieは強力な推論能力を獲得します。2025年の国際数学オリンピック（IMO）および国際物理オリンピック（IPhO）では、Loopieはツールを使用せずに金メダル級の性能を達成しました。

English

We present Loopie, the most powerful looped Transformer to date. The Loopie series consists of two Mixture-of-Experts (MoE) models: a 20B-parameter model with 2B active parameters and a 6Bparameter model with 0.6B active parameters. Looped Transformers have long faced a challenge: given an N-fold increase in pre-training compute, increasing the parameter count by a factor of N usually outperforms looping a model N times. Loopie addresses this challenge. Extensive ablation studies, including comparisons with a vanilla 30B-A3B model, show that Loopie substantially outperforms vanilla Transformer baselines trained with the same compute budget. Our novel post-training pipeline equips Loopie with strong reasoning abilities. At the 2025 IMO and IPhO, Loopie achieves gold-medal performance without tools.

ループ・ザ・ルーピーズ！

Loop the Loopies!

要旨

Support