Hybride Architekturen für Sprachmodelle: Systematische Analyse und Design-Erkenntnisse

Hybrid Architectures for Language Models: Systematic Analysis and Design Insights

October 6, 2025

papers.authors: Sangmin Bae, Bilge Acun, Haroun Habeeb, Seungyeon Kim, Chien-Yu Lin, Liang Luo, Junjie Wang, Carole-Jean Wu

cs.AI

papers.abstract

Jüngste Fortschritte bei großen Sprachmodellen zeigen, dass hybride Architekturen – die Selbstaufmerksamkeitsmechanismen mit strukturierten Zustandsraummodellen wie Mamba kombinieren – ein überzeugendes Gleichgewicht zwischen Modellierungsqualität und Recheneffizienz erreichen können, insbesondere bei Aufgaben mit langem Kontext. Obwohl diese hybriden Modelle vielversprechende Leistungen zeigen, wurden systematische Vergleiche von Hybridisierungsstrategien und Analysen der Schlüsselfaktoren hinter ihrer Effektivität der Gemeinschaft noch nicht klar vermittelt. In dieser Arbeit präsentieren wir eine ganzheitliche Bewertung hybrider Architekturen, die auf inter-schichtiger (sequenzieller) oder intra-schichtiger (paralleler) Fusion basieren. Wir bewerten diese Entwürfe aus verschiedenen Perspektiven: Sprachmodellierungsleistung, Fähigkeiten im langen Kontext, Skalierungsanalysen sowie Trainings- und Inferenzeffizienz. Durch die Untersuchung der Kernmerkmale ihrer Rechenprimitive identifizieren wir die kritischsten Elemente für jede Hybridisierungsstrategie und schlagen optimale Designrezepte für beide hybriden Modelle vor. Unsere umfassende Analyse bietet praktische Anleitungen und wertvolle Einblicke für die Entwicklung hybrider Sprachmodelle und erleichtert die Optimierung architektonischer Konfigurationen.

English

Recent progress in large language models demonstrates that hybrid architectures--combining self-attention mechanisms with structured state space models like Mamba--can achieve a compelling balance between modeling quality and computational efficiency, particularly for long-context tasks. While these hybrid models show promising performance, systematic comparisons of hybridization strategies and analyses on the key factors behind their effectiveness have not been clearly shared to the community. In this work, we present a holistic evaluation of hybrid architectures based on inter-layer (sequential) or intra-layer (parallel) fusion. We evaluate these designs from a variety of perspectives: language modeling performance, long-context capabilities, scaling analysis, and training and inference efficiency. By investigating the core characteristics of their computational primitive, we identify the most critical elements for each hybridization strategy and further propose optimal design recipes for both hybrid models. Our comprehensive analysis provides practical guidance and valuable insights for developing hybrid language models, facilitating the optimization of architectural configurations.