루프 더 루피즈!

초록

현재까지 가장 강력한 루프드 트랜스포머인 Loopie를 소개합니다. Loopie 시리즈는 두 개의 Mixture-of-Experts(MoE) 모델로 구성됩니다: 20B 파라미터 중 2B 활성 파라미터를 가진 모델과 6B 파라미터 중 0.6B 활성 파라미터를 가진 모델입니다. 루프드 트랜스포머는 오랫동안 과제에 직면해 왔습니다: 사전 학습 계산량이 N배 증가할 때, 파라미터 수를 N배 늘리는 것이 일반적으로 모델을 N번 루핑하는 것보다 더 나은 성능을 보인다는 점입니다. Loopie는 이 과제를 해결합니다. 바닐라 30B-A3B 모델과의 비교를 포함한 광범위한 절제 연구에서 Loopie가 동일한 계산 예산으로 학습된 바닐라 트랜스포머 기준 모델을 크게 능가하는 것으로 나타났습니다. 당사의 혁신적인 포스트 트레이닝 파이프라인은 Loopie에 강력한 추론 능력을 부여합니다. 2025년 IMO 및 IPhO에서 Loopie는 도구 없이 금메달 수준의 성과를 달성했습니다.

English

We present Loopie, the most powerful looped Transformer to date. The Loopie series consists of two Mixture-of-Experts (MoE) models: a 20B-parameter model with 2B active parameters and a 6Bparameter model with 0.6B active parameters. Looped Transformers have long faced a challenge: given an N-fold increase in pre-training compute, increasing the parameter count by a factor of N usually outperforms looping a model N times. Loopie addresses this challenge. Extensive ablation studies, including comparisons with a vanilla 30B-A3B model, show that Loopie substantially outperforms vanilla Transformer baselines trained with the same compute budget. Our novel post-training pipeline equips Loopie with strong reasoning abilities. At the 2025 IMO and IPhO, Loopie achieves gold-medal performance without tools.

루프 더 루피즈!

Loop the Loopies!

초록

Support