Youtu-LLM: Раскрытие нативного агентского потенциала облегченных больших языковых моделей

Аннотация

Мы представляем Youtu-LLM — легковесную, но мощную языковую модель, которая сочетает высокую вычислительную эффективность с развитым агентским интеллектом. В отличие от типичных компактных моделей, использующих дистилляцию, Youtu-LLM (1,96 млрд параметров) предобучалась с нуля для системного формирования способностей к рассуждениям и планированию. Ключевые технические достижения заключаются в следующем: (1) Компактная архитектура с поддержкой длинного контекста: Построенная на плотной архитектуре Multi-Latent Attention (MLA) с новой STEM-ориентированной лексикой, Youtu-LLM поддерживает окно контекста длиной 128 тыс. токенов. Эта конструкция обеспечивает надежные длинные контекстные рассуждения и отслеживание состояния при минимальном объеме памяти, что делает модель идеальной для долгосрочных агентских и логических задач. (2) Принципиальный учебный план «Common Sense — STEM — Агент»: Мы собрали масштабный корпус объемом приблизительно 11 трлн токенов и реализовали многоэтапную стратегию обучения. Постепенно смещая распределение данных предобучения от общих знаний к сложным STEM- и агентским задачам, мы обеспечиваем приобретение моделью глубоких когнитивных способностей, а не поверхностного соответствия. (3) Масштабируемое агентское дообучение: Для этапа агентского дообучения мы используем разнообразные схемы построения данных для синтеза богатых и разнообразных траекторий в областях математики, программирования и использования инструментов. Эти высококачественные данные позволяют модели эффективно усваивать поведение планирования и рефлексии. Многочисленные оценки показывают, что Youtu-LLM устанавливает новое состояние искусства для языковых моделей объемом менее 2 млрд параметров. На общих бенчмарках модель демонстрирует конкурентоспособные результаты по сравнению с более крупными моделями, в то время как на специализированных агентских задачах она значительно превосходит существующие SOTA-базисы, подтверждая, что легковесные модели могут обладать сильными внутренними агентскими способностями.

English

We introduce Youtu-LLM, a lightweight yet powerful language model that harmonizes high computational efficiency with native agentic intelligence. Unlike typical small models that rely on distillation, Youtu-LLM (1.96B) is pre-trained from scratch to systematically cultivate reasoning and planning capabilities. The key technical advancements are as follows: (1) Compact Architecture with Long-Context Support: Built on a dense Multi-Latent Attention (MLA) architecture with a novel STEM-oriented vocabulary, Youtu-LLM supports a 128k context window. This design enables robust long-context reasoning and state tracking within a minimal memory footprint, making it ideal for long-horizon agent and reasoning tasks. (2) Principled "Commonsense-STEM-Agent" Curriculum: We curated a massive corpus of approximately 11T tokens and implemented a multi-stage training strategy. By progressively shifting the pre-training data distribution from general commonsense to complex STEM and agentic tasks, we ensure the model acquires deep cognitive abilities rather than superficial alignment. (3) Scalable Agentic Mid-training: Specifically for the agentic mid-training, we employ diverse data construction schemes to synthesize rich and varied trajectories across math, coding, and tool-use domains. This high-quality data enables the model to internalize planning and reflection behaviors effectively. Extensive evaluations show that Youtu-LLM sets a new state-of-the-art for sub-2B LLMs. On general benchmarks, it achieves competitive performance against larger models, while on agent-specific tasks, it significantly surpasses existing SOTA baselines, demonstrating that lightweight models can possess strong intrinsic agentic capabilities.