Falcon-H1: Una Familia de Modelos de Lenguaje con Cabezales Híbridos que Redefinen la Eficiencia y el Rendimiento

Resumen

En este informe, presentamos Falcon-H1, una nueva serie de modelos de lenguaje de gran escala (LLMs) que incorpora diseños de arquitectura híbrida optimizados para ofrecer tanto alto rendimiento como eficiencia en diversos casos de uso. A diferencia de los modelos Falcon anteriores, construidos exclusivamente sobre arquitecturas Transformer o Mamba, Falcon-H1 adopta un enfoque híbrido en paralelo que combina la atención basada en Transformer con Modelos de Espacio de Estados (SSMs), conocidos por su memoria de contexto largo y eficiencia computacional superiores. Revisamos sistemáticamente el diseño del modelo, la estrategia de datos y la dinámica de entrenamiento, desafiando prácticas convencionales en el campo. Falcon-H1 se lanza en múltiples configuraciones, incluyendo variantes base y ajustadas por instrucciones con 0.5B, 1.5B, 1.5B-deep, 3B, 7B y 34B parámetros. También están disponibles modelos cuantizados ajustados por instrucciones, sumando más de 30 puntos de control en Hugging Face Hub. Los modelos Falcon-H1 demuestran un rendimiento de vanguardia y una eficiencia excepcional en parámetros y entrenamiento. El modelo insignia, Falcon-H1-34B, iguala o supera a modelos de hasta 70B de escala, como Qwen3-32B, Qwen2.5-72B y Llama3.3-70B, utilizando menos parámetros y datos. Los modelos más pequeños muestran tendencias similares: Falcon-H1-1.5B-Deep rivaliza con los principales modelos actuales de 7B-10B, y Falcon-H1-0.5B se desempeña de manera comparable a los típicos modelos de 7B de 2024. Estos modelos destacan en razonamiento, matemáticas, tareas multilingües, seguimiento de instrucciones y conocimiento científico. Con soporte para hasta 256K tokens de contexto y 18 idiomas, Falcon-H1 es adecuado para una amplia gama de aplicaciones. Todos los modelos se publican bajo una licencia de código abierto permisiva, subrayando nuestro compromiso con una investigación en IA accesible y de impacto.

English

In this report, we introduce Falcon-H1, a new series of large language models (LLMs) featuring hybrid architecture designs optimized for both high performance and efficiency across diverse use cases. Unlike earlier Falcon models built solely on Transformer or Mamba architectures, Falcon-H1 adopts a parallel hybrid approach that combines Transformer-based attention with State Space Models (SSMs), known for superior long-context memory and computational efficiency. We systematically revisited model design, data strategy, and training dynamics, challenging conventional practices in the field. Falcon-H1 is released in multiple configurations, including base and instruction-tuned variants at 0.5B, 1.5B, 1.5B-deep, 3B, 7B, and 34B parameters. Quantized instruction-tuned models are also available, totaling over 30 checkpoints on Hugging Face Hub. Falcon-H1 models demonstrate state-of-the-art performance and exceptional parameter and training efficiency. The flagship Falcon-H1-34B matches or outperforms models up to 70B scale, such as Qwen3-32B, Qwen2.5-72B, and Llama3.3-70B, while using fewer parameters and less data. Smaller models show similar trends: the Falcon-H1-1.5B-Deep rivals current leading 7B-10B models, and Falcon-H1-0.5B performs comparably to typical 7B models from 2024. These models excel across reasoning, mathematics, multilingual tasks, instruction following, and scientific knowledge. With support for up to 256K context tokens and 18 languages, Falcon-H1 is suitable for a wide range of applications. All models are released under a permissive open-source license, underscoring our commitment to accessible and impactful AI research.

Falcon-H1: Una Familia de Modelos de Lenguaje con Cabezales Híbridos que Redefinen la Eficiencia y el Rendimiento

Falcon-H1: A Family of Hybrid-Head Language Models Redefining Efficiency and Performance

Resumen

Support