Youtu-LLM : Libérer le potentiel agentique natif des modèles de langage légers

papers.abstract

Nous présentons Youtu-LLM, un modèle de langage léger mais puissant qui allie haute efficacité computationnelle et intelligence agentique native. Contrairement aux petits modèles typiques qui reposent sur la distillation, Youtu-LLM (1,96 milliard de paramètres) est pré-entraîné à partir de zéro pour cultiver systématiquement des capacités de raisonnement et de planification. Les avancées techniques clés sont les suivantes : (1) Architecture compacte avec support de contexte long : Construit sur une architecture dense à attention multi-latente (MLA) avec un nouveau vocabulaire orienté STIM, Youtu-LLM prend en charge une fenêtre de contexte de 128k. Cette conception permet un raisonnement robuste en contexte long et un suivi d'état avec une empreinte mémoire minimale, le rendant idéal pour les tâches agentiques et de raisonnement à long horizon. (2) Curriculum principié « Common Sense - STIM - Agent » : Nous avons constitué un corpus massif d'environ 11 000 milliards de jetons et mis en œuvre une stratégie d'entraînement multi-étapes. En faisant progressivement évoluer la distribution des données de pré-entraînement du bon sens général vers les tâches STIM complexes et agentiques, nous assurons que le modèle acquiert des capacités cognitives profondes plutôt qu'un alignement superficiel. (3) Mid-training agentique évolutif : Spécialement pour le mid-training agentique, nous utilisons divers schémas de construction de données pour synthétiser des trajectoires riches et variées dans les domaines des mathématiques, de la programmation et de l'utilisation d'outils. Ces données de haute qualité permettent au modèle d'intérioriser efficacement les comportements de planification et de réflexion. Des évaluations approfondies montrent que Youtu-LLM établit un nouvel état de l'art pour les LLM de moins de 2 milliards de paramètres. Sur les benchmarks généraux, il atteint des performances compétitives par rapport à des modèles plus grands, tandis que sur les tâches spécifiquement agentiques, il surpasse significativement les lignes de base SOTA existantes, démontrant que les modèles légers peuvent posséder de fortes capacités agentiques intrinsèques.

English

We introduce Youtu-LLM, a lightweight yet powerful language model that harmonizes high computational efficiency with native agentic intelligence. Unlike typical small models that rely on distillation, Youtu-LLM (1.96B) is pre-trained from scratch to systematically cultivate reasoning and planning capabilities. The key technical advancements are as follows: (1) Compact Architecture with Long-Context Support: Built on a dense Multi-Latent Attention (MLA) architecture with a novel STEM-oriented vocabulary, Youtu-LLM supports a 128k context window. This design enables robust long-context reasoning and state tracking within a minimal memory footprint, making it ideal for long-horizon agent and reasoning tasks. (2) Principled "Commonsense-STEM-Agent" Curriculum: We curated a massive corpus of approximately 11T tokens and implemented a multi-stage training strategy. By progressively shifting the pre-training data distribution from general commonsense to complex STEM and agentic tasks, we ensure the model acquires deep cognitive abilities rather than superficial alignment. (3) Scalable Agentic Mid-training: Specifically for the agentic mid-training, we employ diverse data construction schemes to synthesize rich and varied trajectories across math, coding, and tool-use domains. This high-quality data enables the model to internalize planning and reflection behaviors effectively. Extensive evaluations show that Youtu-LLM sets a new state-of-the-art for sub-2B LLMs. On general benchmarks, it achieves competitive performance against larger models, while on agent-specific tasks, it significantly surpasses existing SOTA baselines, demonstrating that lightweight models can possess strong intrinsic agentic capabilities.