Falcon-H1: Een Familie van Hybride-Kop Taalmodellen die Efficiëntie en Prestaties Herdefiniëren

Samenvatting

In dit rapport introduceren we Falcon-H1, een nieuwe serie grote taalmodelen (LLMs) met hybride architectuurontwerpen die geoptimaliseerd zijn voor zowel hoge prestaties als efficiëntie in diverse gebruiksscenario's. In tegenstelling tot eerdere Falcon-modellen die uitsluitend waren gebaseerd op Transformer- of Mamba-architecturen, neemt Falcon-H1 een parallelle hybride aanpak die Transformer-gebaseerde aandacht combineert met State Space Models (SSMs), bekend om hun superieure langetermijngeheugen en computationele efficiëntie. We hebben het modelontwerp, de datastrategie en de trainingsdynamiek systematisch herzien, waarbij we conventionele praktijken in het veld uitdaagden. Falcon-H1 wordt uitgebracht in meerdere configuraties, waaronder basis- en instructie-afgestemde varianten met 0,5B, 1,5B, 1,5B-deep, 3B, 7B en 34B parameters. Ook gekwantiseerde instructie-afgestemde modellen zijn beschikbaar, wat in totaal meer dan 30 checkpoints op de Hugging Face Hub oplevert. Falcon-H1-modellen demonstreren state-of-the-art prestaties en uitzonderlijke parameter- en trainingsefficiëntie. Het vlaggenschip Falcon-H1-34B evenaart of overtreft modellen tot 70B schaal, zoals Qwen3-32B, Qwen2.5-72B en Llama3.3-70B, terwijl het minder parameters en minder data gebruikt. Kleinere modellen vertonen vergelijkbare trends: de Falcon-H1-1.5B-Deep rivaliseert met huidige toonaangevende 7B-10B modellen, en Falcon-H1-0.5B presteert vergelijkbaar met typische 7B modellen uit 2024. Deze modellen blinken uit in redeneren, wiskunde, meertalige taken, instructievolging en wetenschappelijke kennis. Met ondersteuning voor tot 256K contexttokens en 18 talen is Falcon-H1 geschikt voor een breed scala aan toepassingen. Alle modellen worden vrijgegeven onder een permissieve open-source licentie, wat onze inzet voor toegankelijk en impactvol AI-onderzoek onderstreept.

English

In this report, we introduce Falcon-H1, a new series of large language models (LLMs) featuring hybrid architecture designs optimized for both high performance and efficiency across diverse use cases. Unlike earlier Falcon models built solely on Transformer or Mamba architectures, Falcon-H1 adopts a parallel hybrid approach that combines Transformer-based attention with State Space Models (SSMs), known for superior long-context memory and computational efficiency. We systematically revisited model design, data strategy, and training dynamics, challenging conventional practices in the field. Falcon-H1 is released in multiple configurations, including base and instruction-tuned variants at 0.5B, 1.5B, 1.5B-deep, 3B, 7B, and 34B parameters. Quantized instruction-tuned models are also available, totaling over 30 checkpoints on Hugging Face Hub. Falcon-H1 models demonstrate state-of-the-art performance and exceptional parameter and training efficiency. The flagship Falcon-H1-34B matches or outperforms models up to 70B scale, such as Qwen3-32B, Qwen2.5-72B, and Llama3.3-70B, while using fewer parameters and less data. Smaller models show similar trends: the Falcon-H1-1.5B-Deep rivals current leading 7B-10B models, and Falcon-H1-0.5B performs comparably to typical 7B models from 2024. These models excel across reasoning, mathematics, multilingual tasks, instruction following, and scientific knowledge. With support for up to 256K context tokens and 18 languages, Falcon-H1 is suitable for a wide range of applications. All models are released under a permissive open-source license, underscoring our commitment to accessible and impactful AI research.

Falcon-H1: Een Familie van Hybride-Kop Taalmodellen die Efficiëntie en Prestaties Herdefiniëren

Falcon-H1: A Family of Hybrid-Head Language Models Redefining Efficiency and Performance

Samenvatting

Support