Каждое включение — это прирост: Масштабирование универсального модуля рассуждений до 1 триллиона открытых языковых основ

Аннотация

Мы представляем Ling 2.0 — серию языковых фундаментальных моделей, ориентированных на логический вывод, построенную на принципе, согласно которому каждая активация усиливает способность к рассуждению. Разработанная для масштабирования от десятков миллиардов до одного триллиона параметров в рамках единой парадигмы смеси экспертов (MoE), серия Ling 2.0 делает акцент на высокой разреженности, межмасштабной согласованности и эффективности, руководствуясь эмпирическими законами масштабирования. Серия включает три «не-рассуждающие» (инструктивные) модели — Ling-mini-2.0, Ling-flash-2.0 и Ling-1T — с общим числом параметров от 16 млрд до 1 трлн, достигая до 7-кратной эффективности по активным вычислениям по сравнению с плотными аналогами. Ling 2.0 объединяет скоординированные инновации в области архитектуры модели, предварительного обучения, пост-обучения и инфраструктуры: высокоразреженную MoE с MTP для эффективного логического вывода, данные, ориентированные на рассуждения, и активацию CoT в процессе обучения, тонкую настройку на основе обучения с подкреплением (DFT, Evo-CoT), а также полномасштабное обучение в формате FP8 с детализированными гетерогенными конвейерами. На триллионном масштабе модель Ling-1T устанавливает новый парето-фронт для соотношения точности логического вывода и вычислительной эффективности, демонстрируя, что разреженная активация при правильном согласовании с целями рассуждения позволяет достичь масштабируемого и эффективного интеллекта. В совокупности Ling 2.0 представляет собой последовательную, открытую и эффективную основу для развития будущих моделей логического вывода и мышления, включая серию Ring, построенную на той же базе.

English

We introduce Ling 2.0, a series reasoning-oriented language foundation built upon the principle that every activation boosts reasoning capability. Designed to scale from tens of billions to one trillion parameters under a unified Mixture-of-Experts (MoE) paradigm, Ling 2.0 emphasizes high sparsity, cross-scale consistency, and efficiency guided by empirical scaling laws. The series includes three non-thinking (instruct) models - Ling-mini-2.0, Ling-flash-2.0, and Ling-1T - ranging from 16B to 1T total parameters and achieving up to 7-fold active-compute efficiency compared with dense counterparts. Ling 2.0 integrates coordinated innovations across model architecture, pre-training, post-training, and infrastructure: a high-sparsity MoE with MTP for efficient reasoning, reasoning-oriented data and mid-training CoT activation, reinforcement-based fine-tuning (DFT, Evo-CoT), and full-scale FP8 training with fine-grained heterogeneous pipelines. At the trillion scale, Ling-1T establishes a new Pareto frontier of reasoning accuracy versus computational efficiency, demonstrating that sparse activation, when properly aligned with reasoning objectives, enables scalable and efficient intelligence. Collectively, Ling 2.0 provides a coherent, open, and efficient foundation for advancing future reasoning and thinking models, including the Ring series built upon the same base.

Каждое включение — это прирост: Масштабирование универсального модуля рассуждений до 1 триллиона открытых языковых основ

Every Activation Boosted: Scaling General Reasoner to 1 Trillion Open Language Foundation

Аннотация

Support