Puro-2B：RTX 5090で$5090以内に学習したPoor LabのQwen2-1.5B

要旨

言語モデルの事前学習は、法外なコストとほぼ同義となり、学界やオープンソースコミュニティの多くにとって手の届かないものとなっています。オープンウェイトモデルやオープンソースの学習レシピなど、強力なオープンソースの取り組みはすでに存在しますが、コスト効率が高く、ハードウェア要件が低く、オープンソースである事前学習レシピは長い間欠如していました。小規模であっても、Llama-3.2-3Bの学習には150万ドル以上かかり、SmolLM3-3Bの再現には70万ドル以上が必要です。本レポートでは、この障壁を低くするために設計されたオープンな事前学習レシピを提示します。このレシピを用いて、コンシューマー向けGPUであるRTX 5090上でFP8精度により、最大1.4兆トークンを使用してPuro-2Bモデル群をゼロから学習しました。このモデル群における各モデルは、トークン予算と選択したレシピのバリアントが異なります。最良のモデルは、6.9Kドル未満の計算コストで学習され、我々の評価プロトコルにおいてQwen2.5-1.5Bの性能に迫ります。このコスト効率は、ハードウェアの選定、低精度学習、ハイパーボール最適化、カリキュラムモデル平均化、データレシピなど、複数のアプローチの組み合わせによって実現されています。レシピ自体に加えて、追加の成果が2つあります。第一に、Puro-2Bモデル群全体にわたって、学習コストと平均モデル性能を関連付けるPuro Cost Scaling Law（Puroコストスケーリング則）を導出しました。フィッティングされた則によれば、約4.4Kドル（5,090ドル未満）でQwen2-1.5Bの性能に到達するのに十分であることが示唆されます。第二に、エンドツーエンドのケーススタディとして、事前学習データのカリキュラムがポストトレーニング後の下流性能をどのように形成するかを調査します。このような制御された研究は、モデル重みのみではなく完全な事前学習パイプラインにアクセスできることによって可能になります。我々は、Apache 2.0ライセンスの下で、データ、コード、モデル重みを含むPuro-2Bの完全な学習レシピをhttps://huggingface.co/collections/thu-pacman/puro-2bにて公開します。

English

Language model pretraining has become almost synonymous with prohibitive cost, placing it out of reach for much of the academic and open-source communities. Although strong open-source efforts already exist, including open-weight models and open-source training recipes, a cost-efficient, hardware-accessible, and open-source pretraining recipe has long been missing. Even at a small scale, training Llama-3.2-3B costs over \1.5M, and reproducing SmolLM3-3B needs over 700K. In this report, we present an open pretraining recipe designed to lower this barrier. Using this recipe, we train a collection of Puro-2B models from scratch on up to 1.4 trillion tokens with FP8 precision on consumer-grade RTX 5090 GPUs. The models in the collection differ in token budgets and selected recipe variants. Our best model is trained at a compute cost of less than \6.9K and approaches Qwen2.5-1.5B performance under our evaluation protocol. This cost efficiency is enabled by a combination of approaches, including hardware selection, low-precision training, hyperball optimization, curriculum model averaging, and the data recipe. Beyond the recipe itself, we provide two additional results. First, across the Puro-2B collection, we derive a Puro Cost Scaling Law that relates training cost to average model performance; the fitted law suggests that about 4.4K, less than \$5,090, is sufficient to reach the performance of Qwen2-1.5B. Second, as an end-to-end case study, we examine how pretraining data curricula shape downstream performance after post-training. Such controlled studies are enabled by having access to the full pretraining pipeline rather than model weights alone. We release the full training recipe for Puro-2B, including data, code, and model weights under Apache 2.0 at https://huggingface.co/collections/thu-pacman/puro-2b.