Arcee Trinity Großer Technischer Bericht

Arcee Trinity Large Technical Report

February 19, 2026

papers.authors: Varun Singh, Lucas Krauss, Sami Jaghouar, Matej Sirovatka, Charles Goddard, Fares Obied, Jack Min Ong, Jannik Straube, Fern, Aria Harley, Conner Stewart, Colin Kealty, Maziyar Panahi, Simon Kirsten, Anushka Deshpande, Anneketh Vij, Arthur Bresnu, Pranav Veldurthi, Raghav Ravishankar, Hardik Bishnoi, DatologyAI Team, Arcee AI Team, Prime Intellect Team, Mark McQuade, Johannes Hagemann, Lucas Atkins

cs.AI

papers.abstract

Wir präsentieren den technischen Bericht für Arcee Trinity Large, ein sparsames Mixture-of-Experts-Modell mit insgesamt 400 Mrd. Parametern und 13 Mrd. aktivierten Parametern pro Token. Zusätzlich berichten wir über Trinity Nano und Trinity Mini, wobei Trinity Nano über 6 Mrd. Gesamtparameter mit 1 Mrd. aktivierten Parametern pro Token verfügt und Trinity Mini über 26 Mrd. Gesamtparameter mit 3 Mrd. aktivierten Parametern pro Token. Die moderne Architektur der Modelle umfasst verschachtelte lokale und globale Attention, gated Attention, depth-scaled Sandwich-Norm und Sigmoid-Routing für Mixture-of-Experts. Für Trinity Large führen wir zudem eine neue Lastverteilungsstrategie für MoE namens Soft-clamped Momentum Expert Bias Updates (SMEBU) ein. Die Modelle wurden mit dem Muon-Optimizer trainiert. Alle drei Modelle absolvierten das Training ohne Verlustspitzen. Trinity Nano und Trinity Mini wurden mit 10 Billionen Tokens vortrainiert, Trinity Large mit 17 Billionen Tokens. Die Modell-Checkpoints sind unter https://huggingface.co/arcee-ai verfügbar.

English

We present the technical report for Arcee Trinity Large, a sparse Mixture-of-Experts model with 400B total parameters and 13B activated per token. Additionally, we report on Trinity Nano and Trinity Mini, with Trinity Nano having 6B total parameters with 1B activated per token, Trinity Mini having 26B total parameters with 3B activated per token. The models' modern architecture includes interleaved local and global attention, gated attention, depth-scaled sandwich norm, and sigmoid routing for Mixture-of-Experts. For Trinity Large, we also introduce a new MoE load balancing strategy titled Soft-clamped Momentum Expert Bias Updates (SMEBU). We train the models using the Muon optimizer. All three models completed training with zero loss spikes. Trinity Nano and Trinity Mini were pre-trained on 10 trillion tokens, and Trinity Large was pre-trained on 17 trillion tokens. The model checkpoints are available at https://huggingface.co/arcee-ai.