Hybride Architecturen voor Taalmodellen: Systematische Analyse en Ontwerp-Inzichten

Hybrid Architectures for Language Models: Systematic Analysis and Design Insights

October 6, 2025

Auteurs: Sangmin Bae, Bilge Acun, Haroun Habeeb, Seungyeon Kim, Chien-Yu Lin, Liang Luo, Junjie Wang, Carole-Jean Wu

cs.AI

Samenvatting

Recente vooruitgang in grote taalmodellen toont aan dat hybride architecturen--die zelf-attentiemechanismen combineren met gestructureerde toestandsruimtemodellen zoals Mamba--een overtuigende balans kunnen bereiken tussen modelkwaliteit en computationele efficiëntie, vooral voor taken met lange contexten. Hoewel deze hybride modellen veelbelovende prestaties laten zien, zijn systematische vergelijkingen van hybridisatiestrategieën en analyses van de belangrijkste factoren achter hun effectiviteit nog niet duidelijk gedeeld met de gemeenschap. In dit werk presenteren we een holistische evaluatie van hybride architecturen gebaseerd op inter-laag (sequentieel) of intra-laag (parallelle) fusie. We evalueren deze ontwerpen vanuit verschillende perspectieven: taalmodelleringsprestaties, mogelijkheden voor lange contexten, schaalanalyse, en trainings- en inferentie-efficiëntie. Door de kernkenmerken van hun computationele primitief te onderzoeken, identificeren we de meest kritieke elementen voor elke hybridisatiestrategie en stellen we optimale ontwerprecepten voor voor beide hybride modellen. Onze uitgebreide analyse biedt praktische richtlijnen en waardevolle inzichten voor de ontwikkeling van hybride taalmodellen, waardoor de optimalisatie van architectuurconfiguraties wordt gefaciliteerd.

English

Recent progress in large language models demonstrates that hybrid architectures--combining self-attention mechanisms with structured state space models like Mamba--can achieve a compelling balance between modeling quality and computational efficiency, particularly for long-context tasks. While these hybrid models show promising performance, systematic comparisons of hybridization strategies and analyses on the key factors behind their effectiveness have not been clearly shared to the community. In this work, we present a holistic evaluation of hybrid architectures based on inter-layer (sequential) or intra-layer (parallel) fusion. We evaluate these designs from a variety of perspectives: language modeling performance, long-context capabilities, scaling analysis, and training and inference efficiency. By investigating the core characteristics of their computational primitive, we identify the most critical elements for each hybridization strategy and further propose optimal design recipes for both hybrid models. Our comprehensive analysis provides practical guidance and valuable insights for developing hybrid language models, facilitating the optimization of architectural configurations.