ドイツ語と英語向けの主権的かつオープンソースの基盤モデル

要旨

我々は、ドイツ語と英語を対象とした主権的かつオープンソースのMixture-of-Experts（MoE）ハイブリッドMamba Transformer基盤モデル「Soofi S 30B-A3B」を発表する。本モデルはハイブリッド設計により、トークンあたり30Bパラメータのうち3Bのみを活性化し、コンテキストが拡大しても推論キャッシュをほぼ一定に保つため、長コンテキスト・高並列処理におけるスループット面で高密度モデルに対して決定的な優位性を持つ。約27兆トークンで事前学習され、意図的にドイツ語の重みが増されている。Soofi Sは、英語およびドイツ語の総合ベンチマークにおいて、14B～27Bの高密度モデルに匹敵する性能を示し、17のオープンベースモデルの中で両言語におけるコード集計スコアで最高を達成し、さらに比較対象となる欧州のすべての主権的ベースライン（アクティブパラメータがはるかに多いものを含む）を凌駕する。完全オープンモデルの中では、Soofi Sが英語およびドイツ語の評価スコアで最高を記録し、Olmo 3 32BやApertus 70Bを上回る。Soofi Sは、ドイツテレコムがミュンヘンで運営する主権的HPCスケールAIインフラ「German Industrial AI Cloud」上でエンドツーエンドに構築された。Soofi Sは、非常に寛容なオープンアクセス条件で公開される。すなわち、重み、選択された中間チェックポイント、完全なソース別データ計上、ハイパーパラメータ、ならびに学習および評価コードである。ソースライセンスが許す場合、データ構築アーティファクトは寛容なライセンスで公開され、商用ライセンスを受けたソースは集計統計と正確な混合比率の計上とともに文書化される。

English

We present Soofi S 30B-A3B, a sovereign, open-source Mixture-of-Experts (MoE) hybrid Mamba Transformer foundation model for German and English. Its hybrid design activates only 3B of 30B parameters per token and keeps the inference cache near-constant as context grows, giving it a decisive throughput advantage over dense models for long-context, high-concurrency deployment. Pretrained on roughly 27 trillion tokens with deliberately up-weighted German, Soofi S matches dense 14 to 27B models on aggregate English and German benchmarks while achieving the best code aggregates in both languages among 17 open base models, and outperforms every European sovereign baseline in our comparison, including ones far larger in active parameters. Among fully open models, Soofi S obtains the highest English and German evaluation scores, ahead of Olmo 3 32B and Apertus 70B. Soofi S was built end-to-end on the German Industrial AI Cloud, a sovereign HPC scale AI infrastructure operated by Deutsche Telekom in Munich. Soofi S will be released under highly permissive, open-access terms: weights, selected intermediate checkpoints, full per-source data accounting, hyperparameters, and training and evaluation code. Where source licenses permit, data-construction artifacts are released under permissive licenses; commercially licensed sources are documented with aggregate statistics and exact mixture accounting.