Falcon-H1: Семейство гибридных языковых моделей, переопределяющих эффективность и производительность

Falcon-H1: A Family of Hybrid-Head Language Models Redefining Efficiency and Performance

July 30, 2025

Авторы: Jingwei Zuo, Maksim Velikanov, Ilyas Chahed, Younes Belkada, Dhia Eddine Rhayem, Guillaume Kunsch, Hakim Hacid, Hamza Yous, Brahim Farhat, Ibrahim Khadraoui, Mugariya Farooq, Giulia Campesan, Ruxandra Cojocaru, Yasser Djilali, Shi Hu, Iheb Chaabane, Puneesh Khanna, Mohamed El Amine Seddik, Ngoc Dung Huynh, Phuc Le Khac, Leen AlQadi, Billel Mokeddem, Mohamed Chami, Abdalgader Abubaker, Mikhail Lubinets, Kacper Piskorski, Slim Frikha

cs.AI

Аннотация

В данном отчете мы представляем Falcon-H1 — новую серию крупных языковых моделей (LLM), основанных на гибридных архитектурных решениях, оптимизированных для высокой производительности и эффективности в различных сценариях использования. В отличие от предыдущих моделей Falcon, построенных исключительно на архитектурах Transformer или Mamba, Falcon-H1 использует параллельный гибридный подход, сочетающий внимание на основе Transformer с моделями пространства состояний (SSM), известными своим превосходством в обработке длинных контекстов и вычислительной эффективности. Мы систематически пересмотрели проектирование моделей, стратегии работы с данными и динамику обучения, бросая вызов традиционным подходам в этой области. Falcon-H1 выпускается в нескольких конфигурациях, включая базовые и настроенные на выполнение инструкций варианты с 0,5 млрд, 1,5 млрд, 1,5 млрд (глубокая версия), 3 млрд, 7 млрд и 34 млрд параметров. Также доступны квантованные модели, настроенные на выполнение инструкций, что в сумме составляет более 30 контрольных точек на платформе Hugging Face Hub. Модели Falcon-H1 демонстрируют передовые показатели производительности, а также исключительную эффективность использования параметров и обучения. Флагманская модель Falcon-H1-34B соответствует или превосходит модели масштаба до 70 млрд параметров, такие как Qwen3-32B, Qwen2.5-72B и Llama3.3-70B, при этом используя меньше параметров и данных. Меньшие модели показывают аналогичные тенденции: Falcon-H1-1.5B-Deep конкурирует с текущими лидирующими моделями масштаба 7–10 млрд параметров, а Falcon-H1-0.5B демонстрирует результаты, сопоставимые с типичными моделями 7 млрд параметров 2024 года. Эти модели превосходно справляются с задачами логического мышления, математики, многоязычных задач, выполнения инструкций и работы с научными знаниями. Поддерживая до 256 тыс. токенов контекста и 18 языков, Falcon-H1 подходит для широкого спектра приложений. Все модели выпускаются под разрешительной открытой лицензией, что подчеркивает нашу приверженность доступным и значимым исследованиям в области искусственного интеллекта.

English

In this report, we introduce Falcon-H1, a new series of large language models (LLMs) featuring hybrid architecture designs optimized for both high performance and efficiency across diverse use cases. Unlike earlier Falcon models built solely on Transformer or Mamba architectures, Falcon-H1 adopts a parallel hybrid approach that combines Transformer-based attention with State Space Models (SSMs), known for superior long-context memory and computational efficiency. We systematically revisited model design, data strategy, and training dynamics, challenging conventional practices in the field. Falcon-H1 is released in multiple configurations, including base and instruction-tuned variants at 0.5B, 1.5B, 1.5B-deep, 3B, 7B, and 34B parameters. Quantized instruction-tuned models are also available, totaling over 30 checkpoints on Hugging Face Hub. Falcon-H1 models demonstrate state-of-the-art performance and exceptional parameter and training efficiency. The flagship Falcon-H1-34B matches or outperforms models up to 70B scale, such as Qwen3-32B, Qwen2.5-72B, and Llama3.3-70B, while using fewer parameters and less data. Smaller models show similar trends: the Falcon-H1-1.5B-Deep rivals current leading 7B-10B models, and Falcon-H1-0.5B performs comparably to typical 7B models from 2024. These models excel across reasoning, mathematics, multilingual tasks, instruction following, and scientific knowledge. With support for up to 256K context tokens and 18 languages, Falcon-H1 is suitable for a wide range of applications. All models are released under a permissive open-source license, underscoring our commitment to accessible and impactful AI research.