Falcon-H1: Eine Familie von Hybrid-Head-Sprachmodellen, die Effizienz und Leistung neu definieren

papers.abstract

In diesem Bericht stellen wir Falcon-H1 vor, eine neue Serie von Large Language Models (LLMs) mit hybriden Architekturdesigns, die für hohe Leistung und Effizienz in diversen Anwendungsfällen optimiert sind. Im Gegensatz zu früheren Falcon-Modellen, die ausschließlich auf Transformer- oder Mamba-Architekturen basierten, verfolgt Falcon-H1 einen parallelen hybriden Ansatz, der Transformer-basierte Aufmerksamkeitsmechanismen mit State Space Models (SSMs) kombiniert, die für überlegene Langzeitgedächtnisfähigkeit und Recheneffizienz bekannt sind. Wir haben das Modelldesign, die Datenstrategie und die Trainingsdynamik systematisch überarbeitet und dabei konventionelle Praktiken in diesem Bereich hinterfragt. Falcon-H1 wird in mehreren Konfigurationen veröffentlicht, darunter Basis- und instruktionsoptimierte Varianten mit 0,5B, 1,5B, 1,5B-deep, 3B, 7B und 34B Parametern. Quantisierte instruktionsoptimierte Modelle sind ebenfalls verfügbar, was insgesamt über 30 Checkpoints auf dem Hugging Face Hub ergibt. Die Falcon-H1-Modelle demonstrieren state-of-the-art Leistung sowie außergewöhnliche Parameter- und Trainingseffizienz. Das Flaggschiff Falcon-H1-34B erreicht oder übertrifft Modelle mit bis zu 70B Parametern, wie Qwen3-32B, Qwen2.5-72B und Llama3.3-70B, während es weniger Parameter und Daten verwendet. Kleinere Modelle zeigen ähnliche Trends: Falcon-H1-1.5B-Deep konkurriert mit aktuellen führenden 7B-10B Modellen, und Falcon-H1-0.5B erreicht vergleichbare Leistungen wie typische 7B Modelle aus dem Jahr 2024. Diese Modelle zeichnen sich in den Bereichen logisches Denken, Mathematik, mehrsprachige Aufgaben, Befolgung von Anweisungen und wissenschaftlichem Wissen aus. Mit Unterstützung für bis zu 256K Kontext-Tokens und 18 Sprachen eignet sich Falcon-H1 für eine breite Palette von Anwendungen. Alle Modelle werden unter einer permissiven Open-Source-Lizenz veröffentlicht, was unser Engagement für zugängliche und wirkungsvolle KI-Forschung unterstreicht.

English

In this report, we introduce Falcon-H1, a new series of large language models (LLMs) featuring hybrid architecture designs optimized for both high performance and efficiency across diverse use cases. Unlike earlier Falcon models built solely on Transformer or Mamba architectures, Falcon-H1 adopts a parallel hybrid approach that combines Transformer-based attention with State Space Models (SSMs), known for superior long-context memory and computational efficiency. We systematically revisited model design, data strategy, and training dynamics, challenging conventional practices in the field. Falcon-H1 is released in multiple configurations, including base and instruction-tuned variants at 0.5B, 1.5B, 1.5B-deep, 3B, 7B, and 34B parameters. Quantized instruction-tuned models are also available, totaling over 30 checkpoints on Hugging Face Hub. Falcon-H1 models demonstrate state-of-the-art performance and exceptional parameter and training efficiency. The flagship Falcon-H1-34B matches or outperforms models up to 70B scale, such as Qwen3-32B, Qwen2.5-72B, and Llama3.3-70B, while using fewer parameters and less data. Smaller models show similar trends: the Falcon-H1-1.5B-Deep rivals current leading 7B-10B models, and Falcon-H1-0.5B performs comparably to typical 7B models from 2024. These models excel across reasoning, mathematics, multilingual tasks, instruction following, and scientific knowledge. With support for up to 256K context tokens and 18 languages, Falcon-H1 is suitable for a wide range of applications. All models are released under a permissive open-source license, underscoring our commitment to accessible and impactful AI research.

Falcon-H1: Eine Familie von Hybrid-Head-Sprachmodellen, die Effizienz und Leistung neu definieren

Falcon-H1: A Family of Hybrid-Head Language Models Redefining Efficiency and Performance

papers.abstract

Support