Een soeverein, open-source fundamentmodel voor Duits en Engels

Samenvatting

We presenteren Soofi S 30B-A3B, een soeverein, open-source Mixture-of-Experts (MoE) hybride Mamba Transformer-basismodel voor Duits en Engels. Het hybride ontwerp activeert slechts 3B van de 30B parameters per token en houdt de inferentiecache bijna constant naarmate de context groeit, wat het een beslissend doorvoervoordeel geeft ten opzichte van dichte modellen voor inzet bij lange context en hoge gelijktijdigheid. Voorgetraind op ruwweg 27 biljoen tokens met bewust hoger gewogen Duits, evenaart Soofi S dichte modellen van 14 tot 27B op geaggregeerde Engelse en Duitse benchmarks, terwijl het de beste code-aggregaten in beide talen behaalt onder 17 open basismodellen, en presteert het beter dan elke Europese soevereine basislijn in onze vergelijking, inclusief modellen die veel groter zijn in actieve parameters. Onder volledig open modellen behaalt Soofi S de hoogste evaluatiescores voor Engels en Duits, vóór Olmo 3 32B en Apertus 70B. Soofi S is end-to-end gebouwd op de German Industrial AI Cloud, een soevereine HPC-schaal AI-infrastructuur die wordt beheerd door Deutsche Telekom in München. Soofi S zal worden uitgebracht onder zeer permissieve, open-access voorwaarden: gewichten, geselecteerde tussenliggende checkpoints, volledige per-bron gegevensverantwoording, hyperparameters, en trainings- en evaluatiecode. Waar bronlicenties dit toestaan, worden data-constructie-artefacten uitgebracht onder permissieve licenties; commercieel gelicentieerde bronnen worden gedocumenteerd met geaggregeerde statistieken en exacte mengselverantwoording.

English

We present Soofi S 30B-A3B, a sovereign, open-source Mixture-of-Experts (MoE) hybrid Mamba Transformer foundation model for German and English. Its hybrid design activates only 3B of 30B parameters per token and keeps the inference cache near-constant as context grows, giving it a decisive throughput advantage over dense models for long-context, high-concurrency deployment. Pretrained on roughly 27 trillion tokens with deliberately up-weighted German, Soofi S matches dense 14 to 27B models on aggregate English and German benchmarks while achieving the best code aggregates in both languages among 17 open base models, and outperforms every European sovereign baseline in our comparison, including ones far larger in active parameters. Among fully open models, Soofi S obtains the highest English and German evaluation scores, ahead of Olmo 3 32B and Apertus 70B. Soofi S was built end-to-end on the German Industrial AI Cloud, a sovereign HPC scale AI infrastructure operated by Deutsche Telekom in Munich. Soofi S will be released under highly permissive, open-access terms: weights, selected intermediate checkpoints, full per-source data accounting, hyperparameters, and training and evaluation code. Where source licenses permit, data-construction artifacts are released under permissive licenses; commercially licensed sources are documented with aggregate statistics and exact mixture accounting.