Architectures hybrides pour les modèles de langage : analyse systématique et perspectives de conception

Hybrid Architectures for Language Models: Systematic Analysis and Design Insights

October 6, 2025

papers.authors: Sangmin Bae, Bilge Acun, Haroun Habeeb, Seungyeon Kim, Chien-Yu Lin, Liang Luo, Junjie Wang, Carole-Jean Wu

cs.AI

papers.abstract

Les progrès récents dans les modèles de langage de grande taille démontrent que les architectures hybrides—combinant des mécanismes d'auto-attention avec des modèles d'espace d'état structurés comme Mamba—peuvent atteindre un équilibre convaincant entre la qualité de modélisation et l'efficacité computationnelle, en particulier pour les tâches à contexte long. Bien que ces modèles hybrides montrent des performances prometteuses, des comparaisons systématiques des stratégies d'hybridation et des analyses sur les facteurs clés de leur efficacité n'ont pas été clairement partagées avec la communauté. Dans ce travail, nous présentons une évaluation holistique des architectures hybrides basées sur une fusion inter-couche (séquentielle) ou intra-couche (parallèle). Nous évaluons ces conceptions sous divers angles : performance en modélisation du langage, capacités à contexte long, analyse de mise à l'échelle, et efficacité en entraînement et inférence. En examinant les caractéristiques fondamentales de leur primitive computationnelle, nous identifions les éléments les plus critiques pour chaque stratégie d'hybridation et proposons en outre des recettes de conception optimales pour les deux types de modèles hybrides. Notre analyse approfondie fournit des conseils pratiques et des insights précieux pour le développement de modèles de langage hybrides, facilitant l'optimisation des configurations architecturales.

English

Recent progress in large language models demonstrates that hybrid architectures--combining self-attention mechanisms with structured state space models like Mamba--can achieve a compelling balance between modeling quality and computational efficiency, particularly for long-context tasks. While these hybrid models show promising performance, systematic comparisons of hybridization strategies and analyses on the key factors behind their effectiveness have not been clearly shared to the community. In this work, we present a holistic evaluation of hybrid architectures based on inter-layer (sequential) or intra-layer (parallel) fusion. We evaluate these designs from a variety of perspectives: language modeling performance, long-context capabilities, scaling analysis, and training and inference efficiency. By investigating the core characteristics of their computational primitive, we identify the most critical elements for each hybridization strategy and further propose optimal design recipes for both hybrid models. Our comprehensive analysis provides practical guidance and valuable insights for developing hybrid language models, facilitating the optimization of architectural configurations.