독일어와 영어를 위한 주권적 오픈소스 기초 모델

초록

본 논문에서는 독일어 및 영어를 위한 주권형 오픈소스 전문가 혼합(MoE) 하이브리드 Mamba 트랜스포머 기반 모델인 Soofi S 30B-A3B를 제시한다. 이 하이브리드 설계는 토큰당 300억 개 중 30억 개의 매개변수만 활성화하며, 컨텍스트가 증가함에 따라 추론 캐시를 거의 일정하게 유지함으로써 긴 컨텍스트 및 높은 동시성 배포 환경에서 밀집 모델 대비 확실한 처리량 이점을 제공한다. 약 27조 개의 토큰으로 사전 학습되었으며 독일어에 의도적으로 가중치를 높인 Soofi S는 영어 및 독일어 종합 벤치마크에서 140억~270억 개 매개변수 규모의 밀집 모델과 동등한 성능을 보일 뿐만 아니라, 17개 오픈 베이스 모델 중 두 언어 모두에서 최고의 코드 종합 점수를 달성했으며, 활성 매개변수 측면에서 훨씬 더 큰 모델을 포함한 비교 대상의 모든 유럽 주권형 기준 모델을 능가한다. 완전 개방형 모델 중에서는 Soofi S가 영어와 독일어 평가에서 가장 높은 점수를 기록하며 Olmo 3 32B 및 Apertus 70B를 앞질렀다. Soofi S는 뮌헨에 있는 도이치 텔레콤이 운영하는 주권형 HPC 규모 AI 인프라인 독일 산업 AI 클라우드에서 종단간 구축되었다. Soofi S는 매우 허용적인 오픈 액세스 조건으로 공개될 예정이며, 여기에는 가중치, 선택된 중간 체크포인트, 전체 소스별 데이터 기록, 하이퍼파라미터, 학습 및 평가 코드가 포함된다. 소스 라이선스가 허용하는 경우 데이터 구축 아티팩트는 허용적 라이선스로 공개되며, 상업용 라이선스 소스는 집계 통계 및 정확한 혼합 기록과 함께 문서화된다.

English

We present Soofi S 30B-A3B, a sovereign, open-source Mixture-of-Experts (MoE) hybrid Mamba Transformer foundation model for German and English. Its hybrid design activates only 3B of 30B parameters per token and keeps the inference cache near-constant as context grows, giving it a decisive throughput advantage over dense models for long-context, high-concurrency deployment. Pretrained on roughly 27 trillion tokens with deliberately up-weighted German, Soofi S matches dense 14 to 27B models on aggregate English and German benchmarks while achieving the best code aggregates in both languages among 17 open base models, and outperforms every European sovereign baseline in our comparison, including ones far larger in active parameters. Among fully open models, Soofi S obtains the highest English and German evaluation scores, ahead of Olmo 3 32B and Apertus 70B. Soofi S was built end-to-end on the German Industrial AI Cloud, a sovereign HPC scale AI infrastructure operated by Deutsche Telekom in Munich. Soofi S will be released under highly permissive, open-access terms: weights, selected intermediate checkpoints, full per-source data accounting, hyperparameters, and training and evaluation code. Where source licenses permit, data-construction artifacts are released under permissive licenses; commercially licensed sources are documented with aggregate statistics and exact mixture accounting.