Технический отчет Arcee Trinity Large

Arcee Trinity Large Technical Report

February 19, 2026

Авторы: Varun Singh, Lucas Krauss, Sami Jaghouar, Matej Sirovatka, Charles Goddard, Fares Obied, Jack Min Ong, Jannik Straube, Fern, Aria Harley, Conner Stewart, Colin Kealty, Maziyar Panahi, Simon Kirsten, Anushka Deshpande, Anneketh Vij, Arthur Bresnu, Pranav Veldurthi, Raghav Ravishankar, Hardik Bishnoi, DatologyAI Team, Arcee AI Team, Prime Intellect Team, Mark McQuade, Johannes Hagemann, Lucas Atkins

cs.AI

Аннотация

Мы представляем технический отчет по Arcee Trinity Large — разреженной модели типа «смесь экспертов» (Mixture-of-Experts, MoE) с общим числом параметров 400 млрд и 13 млрд активируемых на каждый токен. Также мы сообщаем о моделях Trinity Nano и Trinity Mini: Trinity Nano имеет 6 млрд общих параметров с 1 млрд активируемых на токен, а Trinity Mini — 26 млрд общих параметров с 3 млрд активируемых на токен. Современная архитектура моделей включает чередование локальной и глобальной механизмов внимания, gated attention, depth-scaled sandwich norm и сигмоидную маршрутизацию для «смеси экспертов». Для Trinity Large мы также представляем новую стратегию балансировки нагрузки в MoE под названием Soft-clamped Momentum Expert Bias Updates (SMEBU). Обучение моделей проводилось с использованием оптимизатора Muon. Все три модели завершили обучение без всплесков потерь. Модели Trinity Nano и Trinity Mini прошли предварительное обучение на 10 триллионах токенов, а Trinity Large — на 17 триллионах токенов. Чекпоинты моделей доступны по адресу https://huggingface.co/arcee-ai.

English

We present the technical report for Arcee Trinity Large, a sparse Mixture-of-Experts model with 400B total parameters and 13B activated per token. Additionally, we report on Trinity Nano and Trinity Mini, with Trinity Nano having 6B total parameters with 1B activated per token, Trinity Mini having 26B total parameters with 3B activated per token. The models' modern architecture includes interleaved local and global attention, gated attention, depth-scaled sandwich norm, and sigmoid routing for Mixture-of-Experts. For Trinity Large, we also introduce a new MoE load balancing strategy titled Soft-clamped Momentum Expert Bias Updates (SMEBU). We train the models using the Muon optimizer. All three models completed training with zero loss spikes. Trinity Nano and Trinity Mini were pre-trained on 10 trillion tokens, and Trinity Large was pre-trained on 17 trillion tokens. The model checkpoints are available at https://huggingface.co/arcee-ai.