Youtu-LLM: Entfesselung des nativen agentischen Potentials für schlanke Large Language Models

papers.abstract

Wir stellen Youtu-LLM vor, ein leichtgewichtiges und dennoch leistungsstarkes Sprachmodell, das hohe Recheneffizienz mit nativer agentenbasierter Intelligenz vereint. Im Gegensatz zu typischen kleinen Modellen, die auf Distillation angewiesen sind, wird Youtu-LLM (1,96B) von Grund auf vortrainiert, um systematisch Fähigkeiten im logischen Denken und Planen zu entwickeln. Die wichtigsten technischen Fortschritte sind wie folgt: (1) Kompakte Architektur mit Langkontext-Unterstützung: Basierend auf einer dichten Multi-Latent-Attention (MLA)-Architektur mit einem neuartigen, STEM-orientierten Vokabular unterstützt Youtu-LLM ein Kontextfenster von 128k Token. Dieser Entwurf ermöglicht robustes Langzeitfolgerungsvermögen und Zustandsverfolgung mit minimalem Speicherbedarf, was es ideal für langfristige Agenten- und Reasoning-Aufgaben macht. (2) Prinzipieller "Commonsense-STEM-Agent"-Lernplan: Wir haben einen umfangreichen Korpus von etwa 11T Token zusammengestellt und eine mehrstufige Trainingsstrategie implementiert. Durch die schrittweise Verlagerung der Vortrainingsdatenverteilung von allgemeinem Common Sense zu komplexen STEM- und Agentenaufgaben stellen wir sicher, dass das Modell tiefgreifende kognitive Fähigkeiten und keine oberflächliche Anpassung erwirbt. (3) Skalierbares agentenbasiertes Mid-Training: Speziell für das agentenbasierte Mid-Training setzen wir verschiedene Datenerstellungsschemata ein, um reichhaltige und vielfältige Trajektorien in den Bereichen Mathematik, Programmierung und Werkzeugnutzung zu synthetisieren. Diese hochwertigen Daten ermöglichen es dem Modell, Planungs- und Reflexionsverhalten effektiv zu internalisieren. Umfangreiche Auswertungen zeigen, dass Youtu-LLM einen neuen State-of-the-Art für LLMs unter 2B Parametern setzt. Bei allgemeinen Benchmarks erzielt es eine wettbewerbsfähige Leistung im Vergleich zu größeren Modellen, während es bei agentspezifischen Aufgaben bestehende SOTA-Baselines deutlich übertrifft. Dies demonstriert, dass leichtgewichtige Modelle über starke intrinsische Agentenfähigkeiten verfügen können.

English

We introduce Youtu-LLM, a lightweight yet powerful language model that harmonizes high computational efficiency with native agentic intelligence. Unlike typical small models that rely on distillation, Youtu-LLM (1.96B) is pre-trained from scratch to systematically cultivate reasoning and planning capabilities. The key technical advancements are as follows: (1) Compact Architecture with Long-Context Support: Built on a dense Multi-Latent Attention (MLA) architecture with a novel STEM-oriented vocabulary, Youtu-LLM supports a 128k context window. This design enables robust long-context reasoning and state tracking within a minimal memory footprint, making it ideal for long-horizon agent and reasoning tasks. (2) Principled "Commonsense-STEM-Agent" Curriculum: We curated a massive corpus of approximately 11T tokens and implemented a multi-stage training strategy. By progressively shifting the pre-training data distribution from general commonsense to complex STEM and agentic tasks, we ensure the model acquires deep cognitive abilities rather than superficial alignment. (3) Scalable Agentic Mid-training: Specifically for the agentic mid-training, we employ diverse data construction schemes to synthesize rich and varied trajectories across math, coding, and tool-use domains. This high-quality data enables the model to internalize planning and reflection behaviors effectively. Extensive evaluations show that Youtu-LLM sets a new state-of-the-art for sub-2B LLMs. On general benchmarks, it achieves competitive performance against larger models, while on agent-specific tasks, it significantly surpasses existing SOTA baselines, demonstrating that lightweight models can possess strong intrinsic agentic capabilities.