Un modèle de fondation souverain, open-source, pour l'allemand et l'anglais

Résumé

Nous présentons Soofi S 30B-A3B, un modèle de fondation souverain et open-source de type Mixture-of-Experts (MoE) hybride Mamba Transformer, conçu pour l'allemand et l'anglais. Son architecture hybride n'active que 3 des 30 milliards de paramètres par jeton et maintient le cache d'inférence quasi constant lorsque le contexte s'allonge, ce qui lui confère un avantage décisif en termes de débit par rapport aux modèles denses pour les déploiements à long contexte et à haute concurrence. Pré-entraîné sur environ 27 000 milliards de tokens avec un surpoids délibéré de l'allemand, Soofi S égale les modèles denses de 14 à 27 milliards de paramètres sur les bancs d'essai globaux en anglais et en allemand, tout en obtenant les meilleurs agrégats de code dans les deux langues parmi 17 modèles de base ouverts, et surpasse toutes les références souveraines européennes dans notre comparaison, y compris celles avec un nombre de paramètres actifs bien supérieur. Parmi les modèles entièrement ouverts, Soofi S obtient les scores d'évaluation les plus élevés en anglais et en allemand, devant Olmo 3 32B et Apertus 70B. Soofi S a été construit de bout en bout sur le German Industrial AI Cloud, une infrastructure d'IA souveraine à l'échelle du HPC exploitée par Deutsche Telekom à Munich. Soofi S sera publié sous des conditions d'accès libre hautement permissives : poids, points de contrôle intermédiaires sélectionnés, comptabilité complète des données par source, hyperparamètres, et codes d'entraînement et d'évaluation. Lorsque les licences sources le permettent, les artefacts de construction de données sont publiés sous licences permissives ; les sources sous licence commerciale sont documentées avec des statistiques agrégées et une comptabilité exacte du mélange.

English

We present Soofi S 30B-A3B, a sovereign, open-source Mixture-of-Experts (MoE) hybrid Mamba Transformer foundation model for German and English. Its hybrid design activates only 3B of 30B parameters per token and keeps the inference cache near-constant as context grows, giving it a decisive throughput advantage over dense models for long-context, high-concurrency deployment. Pretrained on roughly 27 trillion tokens with deliberately up-weighted German, Soofi S matches dense 14 to 27B models on aggregate English and German benchmarks while achieving the best code aggregates in both languages among 17 open base models, and outperforms every European sovereign baseline in our comparison, including ones far larger in active parameters. Among fully open models, Soofi S obtains the highest English and German evaluation scores, ahead of Olmo 3 32B and Apertus 70B. Soofi S was built end-to-end on the German Industrial AI Cloud, a sovereign HPC scale AI infrastructure operated by Deutsche Telekom in Munich. Soofi S will be released under highly permissive, open-access terms: weights, selected intermediate checkpoints, full per-source data accounting, hyperparameters, and training and evaluation code. Where source licenses permit, data-construction artifacts are released under permissive licenses; commercially licensed sources are documented with aggregate statistics and exact mixture accounting.