Instella: 卓越した性能を発揮する完全オープンな言語モデル

要旨

大規模言語モデル（LLM）は多様なタスクで顕著な性能を示しているが、高精度モデルの大半はクローズドソースまたは部分的オープンに留まっており、透明性と再現性が制限されている。本論文では、完全オープンな30億パラメータ言語モデルファミリー「Instella」を提案する。本モデルは全て公開データとコードベースで学習され、AMD Instinct MI300X GPUを活用した大規模事前学習、汎用指示チューニング、人間の選好に基づくアライメントを経て開発された。多くの同時期モデルよりも事前学習トークン数が大幅に少ないにも関わらず、Instellaは完全オープンモデルの中で最高水準の性能を達成し、同規模の主要オープンウェイトモデルと競合する。さらに二つの専門特化版も公開する：128Kトークンまでの文脈長を扱えるInstella-Longと、数学タスクに対する教師ありファインチューニングと強化学習により推論能力を強化したInstella-Mathである。これらの貢献により、Instellaは透明性・高性能・多機能性を備えたコミュニティ向け代替案として位置づけられ、オープンで再現性のある言語モデリング研究の推進に寄与する。

English

Large language models (LLMs) have demonstrated remarkable performance across a wide range of tasks, yet the majority of high-performing models remain closed-source or partially open, limiting transparency and reproducibility. In this work, we introduce Instella, a family of fully open three billion parameter language models trained entirely on openly available data and codebase. Powered by AMD Instinct MI300X GPUs, Instella is developed through large-scale pre-training, general-purpose instruction tuning, and alignment with human preferences. Despite using substantially fewer pre-training tokens than many contemporaries, Instella achieves state-of-the-art results among fully open models and is competitive with leading open-weight models of comparable size. We further release two specialized variants: Instella-Long, capable of handling context lengths up to 128K tokens, and Instella-Math, a reasoning-focused model enhanced through supervised fine-tuning and reinforcement learning on mathematical tasks. Together, these contributions establish Instella as a transparent, performant, and versatile alternative for the community, advancing the goal of open and reproducible language modeling research.

Instella: 卓越した性能を発揮する完全オープンな言語モデル

Instella: Fully Open Language Models with Stellar Performance

要旨

Support