Суверенная фундаментальная модель с открытым исходным кодом для немецкого и английского языков

Аннотация

Мы представляем Soofi S 30B-A3B — суверенную открытую фундаментальную модель на основе гибридной архитектуры Mamba Transformer со смесью экспертов (Mixture-of-Experts, MoE), предназначенную для немецкого и английского языков. Благодаря гибридной конструкции модель активирует лишь 3 из 30 млрд параметров на каждый токен, а кэш вывода остаётся практически неизменным при росте контекста, что обеспечивает решающее преимущество в пропускной способности над плотными моделями при развёртывании с длинным контекстом и высокой степенью параллелизма. Предварительно обученная на примерно 27 триллионах токенов с намеренно повышенным весом немецкого языка, Soofi S сопоставима с плотными моделями размером от 14 до 27 млрд параметров по совокупным показателям английских и немецких бенчмарков, достигая при этом наилучших совокупных показателей по коду на обоих языках среди 17 открытых базовых моделей. Модель превосходит все европейские суверенные базовые модели в нашем сравнении, включая те, что имеют гораздо больше активных параметров. Среди полностью открытых моделей Soofi S получает наивысшие оценочные показатели по английскому и немецкому языкам, опережая Olmo 3 32B и Apertus 70B. Soofi S была построена «с нуля» на базе German Industrial AI Cloud — суверенной высокопроизводительной ИИ-инфраструктуры, эксплуатируемой Deutsche Telekom в Мюнхене. Soofi S будет выпущена на условиях весьма разрешительного открытого доступа: веса, выбранные промежуточные контрольные точки, полный учёт данных по каждому источнику, гиперпараметры, а также обучающий и оценочный код. Там, где это допускают лицензии источников, артефакты построения данных распространяются по разрешительным лицензиям; коммерчески лицензированные источники документируются с указанием агрегированной статистики и точного состава смеси.

English

We present Soofi S 30B-A3B, a sovereign, open-source Mixture-of-Experts (MoE) hybrid Mamba Transformer foundation model for German and English. Its hybrid design activates only 3B of 30B parameters per token and keeps the inference cache near-constant as context grows, giving it a decisive throughput advantage over dense models for long-context, high-concurrency deployment. Pretrained on roughly 27 trillion tokens with deliberately up-weighted German, Soofi S matches dense 14 to 27B models on aggregate English and German benchmarks while achieving the best code aggregates in both languages among 17 open base models, and outperforms every European sovereign baseline in our comparison, including ones far larger in active parameters. Among fully open models, Soofi S obtains the highest English and German evaluation scores, ahead of Olmo 3 32B and Apertus 70B. Soofi S was built end-to-end on the German Industrial AI Cloud, a sovereign HPC scale AI infrastructure operated by Deutsche Telekom in Munich. Soofi S will be released under highly permissive, open-access terms: weights, selected intermediate checkpoints, full per-source data accounting, hyperparameters, and training and evaluation code. Where source licenses permit, data-construction artifacts are released under permissive licenses; commercially licensed sources are documented with aggregate statistics and exact mixture accounting.