Un modelo fundacional soberano y de código abierto para alemán e inglés

Resumen

Presentamos Soofi S 30B-A3B, un modelo fundacional soberano, de código abierto, basado en una Mezcla de Expertos (MoE) híbrida Mamba Transformer para alemán e inglés. Su diseño híbrido activa solo 3B de los 30B parámetros por token y mantiene la caché de inferencia prácticamente constante a medida que crece el contexto, lo que le confiere una ventaja decisiva en rendimiento frente a modelos densos para despliegues de contexto largo y alta concurrencia. Preentrenado con aproximadamente 27 billones de tokens y una sobreponderación deliberada del alemán, Soofi S iguala a modelos densos de entre 14 y 27B en benchmarks agregados de inglés y alemán, al tiempo que logra los mejores agregados de código en ambos idiomas entre 17 modelos base abiertos, y supera a todas las líneas base soberanas europeas en nuestra comparación, incluyendo algunas con muchos más parámetros activos. Entre los modelos completamente abiertos, Soofi S obtiene las puntuaciones más altas en evaluaciones de inglés y alemán, por delante de Olmo 3 32B y Apertus 70B. Soofi S fue construido de extremo a extremo en la German Industrial AI Cloud, una infraestructura de IA soberana a escala HPC operada por Deutsche Telekom en Múnich. Soofi S se publicará bajo términos altamente permisivos de acceso abierto: pesos, puntos de control intermedios seleccionados, contabilidad completa de datos por fuente, hiperparámetros, y código de entrenamiento y evaluación. Cuando las licencias de origen lo permitan, los artefactos de construcción de datos se publicarán bajo licencias permisivas; las fuentes con licencia comercial se documentarán con estadísticas agregadas y contabilidad exacta de la mezcla.

English

We present Soofi S 30B-A3B, a sovereign, open-source Mixture-of-Experts (MoE) hybrid Mamba Transformer foundation model for German and English. Its hybrid design activates only 3B of 30B parameters per token and keeps the inference cache near-constant as context grows, giving it a decisive throughput advantage over dense models for long-context, high-concurrency deployment. Pretrained on roughly 27 trillion tokens with deliberately up-weighted German, Soofi S matches dense 14 to 27B models on aggregate English and German benchmarks while achieving the best code aggregates in both languages among 17 open base models, and outperforms every European sovereign baseline in our comparison, including ones far larger in active parameters. Among fully open models, Soofi S obtains the highest English and German evaluation scores, ahead of Olmo 3 32B and Apertus 70B. Soofi S was built end-to-end on the German Industrial AI Cloud, a sovereign HPC scale AI infrastructure operated by Deutsche Telekom in Munich. Soofi S will be released under highly permissive, open-access terms: weights, selected intermediate checkpoints, full per-source data accounting, hyperparameters, and training and evaluation code. Where source licenses permit, data-construction artifacts are released under permissive licenses; commercially licensed sources are documented with aggregate statistics and exact mixture accounting.