Falcon-H1: Una Famiglia di Modelli Linguistici a Testa Ibrida che Ridefinisce Efficienza e Prestazioni

Abstract

In questo rapporto, presentiamo Falcon-H1, una nuova serie di modelli linguistici di grandi dimensioni (LLM) caratterizzati da architetture ibride ottimizzate per alte prestazioni ed efficienza in un'ampia gamma di casi d'uso. A differenza dei precedenti modelli Falcon basati esclusivamente su architetture Transformer o Mamba, Falcon-H1 adotta un approccio ibrido parallelo che combina l'attenzione basata su Transformer con i Modelli a Spazio di Stato (SSM), noti per la loro superiore memoria a lungo contesto e l'efficienza computazionale. Abbiamo rivisitato in modo sistematico il design del modello, la strategia dei dati e le dinamiche di addestramento, mettendo in discussione le pratiche convenzionali del settore. Falcon-H1 viene rilasciato in multiple configurazioni, inclusi varianti di base e ottimizzate per istruzioni con 0,5B, 1,5B, 1,5B-deep, 3B, 7B e 34B di parametri. Sono disponibili anche modelli ottimizzati per istruzioni quantizzati, per un totale di oltre 30 checkpoint su Hugging Face Hub. I modelli Falcon-H1 dimostrano prestazioni all'avanguardia e un'eccellente efficienza in termini di parametri e addestramento. Il modello di punta Falcon-H1-34B eguaglia o supera modelli fino a 70B di scala, come Qwen3-32B, Qwen2.5-72B e Llama3.3-70B, utilizzando meno parametri e meno dati. I modelli più piccoli mostrano tendenze simili: Falcon-H1-1.5B-Deep rivaleggia con i migliori modelli attuali da 7B-10B, e Falcon-H1-0.5B si comporta in modo paragonabile ai tipici modelli da 7B del 2024. Questi modelli eccellono in ragionamento, matematica, compiti multilingue, seguimento di istruzioni e conoscenza scientifica. Con il supporto per fino a 256K token di contesto e 18 lingue, Falcon-H1 è adatto a un'ampia gamma di applicazioni. Tutti i modelli sono rilasciati con una licenza open-source permissiva, sottolineando il nostro impegno per una ricerca AI accessibile e di impatto.

English

In this report, we introduce Falcon-H1, a new series of large language models (LLMs) featuring hybrid architecture designs optimized for both high performance and efficiency across diverse use cases. Unlike earlier Falcon models built solely on Transformer or Mamba architectures, Falcon-H1 adopts a parallel hybrid approach that combines Transformer-based attention with State Space Models (SSMs), known for superior long-context memory and computational efficiency. We systematically revisited model design, data strategy, and training dynamics, challenging conventional practices in the field. Falcon-H1 is released in multiple configurations, including base and instruction-tuned variants at 0.5B, 1.5B, 1.5B-deep, 3B, 7B, and 34B parameters. Quantized instruction-tuned models are also available, totaling over 30 checkpoints on Hugging Face Hub. Falcon-H1 models demonstrate state-of-the-art performance and exceptional parameter and training efficiency. The flagship Falcon-H1-34B matches or outperforms models up to 70B scale, such as Qwen3-32B, Qwen2.5-72B, and Llama3.3-70B, while using fewer parameters and less data. Smaller models show similar trends: the Falcon-H1-1.5B-Deep rivals current leading 7B-10B models, and Falcon-H1-0.5B performs comparably to typical 7B models from 2024. These models excel across reasoning, mathematics, multilingual tasks, instruction following, and scientific knowledge. With support for up to 256K context tokens and 18 languages, Falcon-H1 is suitable for a wide range of applications. All models are released under a permissive open-source license, underscoring our commitment to accessible and impactful AI research.

Falcon-H1: Una Famiglia di Modelli Linguistici a Testa Ibrida che Ridefinisce Efficienza e Prestazioni

Falcon-H1: A Family of Hybrid-Head Language Models Redefining Efficiency and Performance

Abstract

Support