Falcon-H1 : Une famille de modèles de langage à tête hybride redéfinissant l'efficacité et les performances

papers.abstract

Dans ce rapport, nous présentons Falcon-H1, une nouvelle série de grands modèles de langage (LLM) dotée de conceptions architecturales hybrides optimisées pour des performances élevées et une efficacité accrue dans divers cas d'utilisation. Contrairement aux précédents modèles Falcon basés uniquement sur des architectures Transformer ou Mamba, Falcon-H1 adopte une approche hybride parallèle qui combine l'attention basée sur les Transformers avec des modèles d'espace d'état (SSM), reconnus pour leur mémoire contextuelle étendue et leur efficacité computationnelle. Nous avons revisité de manière systématique la conception des modèles, la stratégie de données et la dynamique d'apprentissage, remettant en question les pratiques conventionnelles du domaine. Falcon-H1 est proposé dans plusieurs configurations, incluant des variantes de base et ajustées par instruction avec 0,5B, 1,5B, 1,5B-deep, 3B, 7B et 34B paramètres. Des modèles quantifiés ajustés par instruction sont également disponibles, totalisant plus de 30 points de contrôle sur le Hugging Face Hub. Les modèles Falcon-H1 démontrent des performances de pointe et une efficacité exceptionnelle en termes de paramètres et de formation. Le modèle phare Falcon-H1-34B rivalise ou surpasse des modèles allant jusqu'à 70B, tels que Qwen3-32B, Qwen2.5-72B et Llama3.3-70B, tout en utilisant moins de paramètres et de données. Les modèles plus petits suivent une tendance similaire : le Falcon-H1-1.5B-Deep rivalise avec les meilleurs modèles actuels de 7B-10B, et le Falcon-H1-0.5B se compare favorablement aux modèles typiques de 7B de 2024. Ces modèles excellent dans le raisonnement, les mathématiques, les tâches multilingues, le suivi d'instructions et les connaissances scientifiques. Avec un support allant jusqu'à 256K tokens contextuels et 18 langues, Falcon-H1 est adapté à une large gamme d'applications. Tous les modèles sont publiés sous une licence open-source permissive, soulignant notre engagement envers une recherche en IA accessible et impactante.

English

In this report, we introduce Falcon-H1, a new series of large language models (LLMs) featuring hybrid architecture designs optimized for both high performance and efficiency across diverse use cases. Unlike earlier Falcon models built solely on Transformer or Mamba architectures, Falcon-H1 adopts a parallel hybrid approach that combines Transformer-based attention with State Space Models (SSMs), known for superior long-context memory and computational efficiency. We systematically revisited model design, data strategy, and training dynamics, challenging conventional practices in the field. Falcon-H1 is released in multiple configurations, including base and instruction-tuned variants at 0.5B, 1.5B, 1.5B-deep, 3B, 7B, and 34B parameters. Quantized instruction-tuned models are also available, totaling over 30 checkpoints on Hugging Face Hub. Falcon-H1 models demonstrate state-of-the-art performance and exceptional parameter and training efficiency. The flagship Falcon-H1-34B matches or outperforms models up to 70B scale, such as Qwen3-32B, Qwen2.5-72B, and Llama3.3-70B, while using fewer parameters and less data. Smaller models show similar trends: the Falcon-H1-1.5B-Deep rivals current leading 7B-10B models, and Falcon-H1-0.5B performs comparably to typical 7B models from 2024. These models excel across reasoning, mathematics, multilingual tasks, instruction following, and scientific knowledge. With support for up to 256K context tokens and 18 languages, Falcon-H1 is suitable for a wide range of applications. All models are released under a permissive open-source license, underscoring our commitment to accessible and impactful AI research.

Falcon-H1 : Une famille de modèles de langage à tête hybride redéfinissant l'efficacité et les performances

Falcon-H1: A Family of Hybrid-Head Language Models Redefining Efficiency and Performance

papers.abstract

Support