Um Modelo Fundação Soberano e de Código Aberto para Alemão e Inglês

Resumo

Apresentamos o Soofi S 30B-A3B, um modelo fundacional soberano de código aberto, baseado em Mistura de Especialistas (MoE) com arquitetura híbrida Mamba Transformer, desenvolvido para alemão e inglês. Seu design híbrido ativa apenas 3B dos 30B parâmetros por token e mantém o cache de inferência quase constante à medida que o contexto cresce, conferindo-lhe uma vantagem decisiva de taxa de transferência em relação a modelos densos para implantação em contextos longos e alta concorrência. Pré-treinado em aproximadamente 27 trilhões de tokens, com ponderação intencionalmente maior para o alemão, o Soofi S iguala modelos densos de 14 a 27B parâmetros nos benchmarks agregados de inglês e alemão, ao mesmo tempo que alcança os melhores agregados de código em ambos os idiomas entre 17 modelos base abertos, e supera todas as linhas de base soberanas europeias em nossa comparação, incluindo aquelas com parâmetros ativos muito maiores. Entre modelos totalmente abertos, o Soofi S obtém as maiores pontuações de avaliação em inglês e alemão, superando o Olmo 3 32B e o Apertus 70B. O Soofi S foi construído de ponta a ponta na German Industrial AI Cloud, uma infraestrutura soberana de IA de nível HPC operada pela Deutsche Telekom em Munique. O Soofi S será lançado sob termos altamente permissivos e de acesso aberto: pesos, checkpoints intermediários selecionados, contabilidade completa de dados por fonte, hiperparâmetros e código de treinamento e avaliação. Onde as licenças de origem permitirem, artefatos de construção de dados serão lançados sob licenças permissivas; fontes com licenciamento comercial são documentadas com estatísticas agregadas e contabilidade exata da mistura.

English

We present Soofi S 30B-A3B, a sovereign, open-source Mixture-of-Experts (MoE) hybrid Mamba Transformer foundation model for German and English. Its hybrid design activates only 3B of 30B parameters per token and keeps the inference cache near-constant as context grows, giving it a decisive throughput advantage over dense models for long-context, high-concurrency deployment. Pretrained on roughly 27 trillion tokens with deliberately up-weighted German, Soofi S matches dense 14 to 27B models on aggregate English and German benchmarks while achieving the best code aggregates in both languages among 17 open base models, and outperforms every European sovereign baseline in our comparison, including ones far larger in active parameters. Among fully open models, Soofi S obtains the highest English and German evaluation scores, ahead of Olmo 3 32B and Apertus 70B. Soofi S was built end-to-end on the German Industrial AI Cloud, a sovereign HPC scale AI infrastructure operated by Deutsche Telekom in Munich. Soofi S will be released under highly permissive, open-access terms: weights, selected intermediate checkpoints, full per-source data accounting, hyperparameters, and training and evaluation code. Where source licenses permit, data-construction artifacts are released under permissive licenses; commercially licensed sources are documented with aggregate statistics and exact mixture accounting.