Ein souveränes, quelloffenes Grundlagenmodell für Deutsch und Englisch

Zusammenfassung

Wir präsentieren Soofi S 30B-A3B, ein souveränes, quelloffenes Foundation-Modell auf Basis eines Mixture-of-Experts (MoE) hybriden Mamba-Transformers für Deutsch und Englisch. Sein hybrides Design aktiviert nur 3B von 30B Parametern pro Token und hält den Inferenz-Cache bei wachsendem Kontext nahezu konstant, was ihm einen entscheidenden Durchsatzvorteil gegenüber dichten Modellen für die Bereitstellung bei langen Kontexten und hoher Parallelität verschafft. Vorab trainiert auf rund 27 Billionen Tokens mit bewusst höher gewichtetem Deutsch, erreicht Soofi S die aggregierten Werte dichter Modelle mit 14 bis 27B Parametern in englischen und deutschen Benchmarks, erzielt dabei die besten Code-Aggregate in beiden Sprachen unter 17 offenen Basismodellen und übertrifft jede europäische souveräne Baseline in unserem Vergleich – einschließlich solcher mit weitaus mehr aktiven Parametern. Unter den vollständig offenen Modellen erzielt Soofi S die höchsten Bewertungswerte für Englisch und Deutsch, vor Olmo 3 32B und Apertus 70B. Soofi S wurde Ende-zu-Ende auf der German Industrial AI Cloud entwickelt, einer souveränen HPC-skalierenden KI-Infrastruktur, die von der Deutschen Telekom in München betrieben wird. Soofi S wird unter sehr freizügigen Open-Access-Bedingungen veröffentlicht: Gewichte, ausgewählte Zwischen-Checkpoints, vollständige quellenbezogene Datenbuchhaltung, Hyperparameter sowie Trainings- und Evaluierungscode. Wo es die Quelllizenzen erlauben, werden Datenkonstruktionsartefakte unter freizügigen Lizenzen veröffentlicht; kommerziell lizenzierte Quellen werden mit aggregierten Statistiken und exakter Mischungsbuchhaltung dokumentiert.

English

We present Soofi S 30B-A3B, a sovereign, open-source Mixture-of-Experts (MoE) hybrid Mamba Transformer foundation model for German and English. Its hybrid design activates only 3B of 30B parameters per token and keeps the inference cache near-constant as context grows, giving it a decisive throughput advantage over dense models for long-context, high-concurrency deployment. Pretrained on roughly 27 trillion tokens with deliberately up-weighted German, Soofi S matches dense 14 to 27B models on aggregate English and German benchmarks while achieving the best code aggregates in both languages among 17 open base models, and outperforms every European sovereign baseline in our comparison, including ones far larger in active parameters. Among fully open models, Soofi S obtains the highest English and German evaluation scores, ahead of Olmo 3 32B and Apertus 70B. Soofi S was built end-to-end on the German Industrial AI Cloud, a sovereign HPC scale AI infrastructure operated by Deutsche Telekom in Munich. Soofi S will be released under highly permissive, open-access terms: weights, selected intermediate checkpoints, full per-source data accounting, hyperparameters, and training and evaluation code. Where source licenses permit, data-construction artifacts are released under permissive licenses; commercially licensed sources are documented with aggregate statistics and exact mixture accounting.