Architetture Ibride per Modelli Linguistici: Analisi Sistematica e Prospettive di Progettazione

Hybrid Architectures for Language Models: Systematic Analysis and Design Insights

October 6, 2025

Autori: Sangmin Bae, Bilge Acun, Haroun Habeeb, Seungyeon Kim, Chien-Yu Lin, Liang Luo, Junjie Wang, Carole-Jean Wu

cs.AI

Abstract

I recenti progressi nei modelli linguistici di grandi dimensioni dimostrano che le architetture ibride—che combinano meccanismi di self-attention con modelli di spazio degli stati strutturati come Mamba—possono raggiungere un equilibrio convincente tra qualità di modellazione ed efficienza computazionale, specialmente per compiti con contesti lunghi. Sebbene questi modelli ibridi mostrino prestazioni promettenti, confronti sistematici delle strategie di ibridazione e analisi sui fattori chiave alla base della loro efficacia non sono stati chiaramente condivisi con la comunità. In questo lavoro, presentiamo una valutazione olistica delle architetture ibride basate su fusione inter-strato (sequenziale) o intra-strato (parallela). Valutiamo questi progetti da diverse prospettive: prestazioni nella modellazione del linguaggio, capacità di gestione di contesti lunghi, analisi di scalabilità ed efficienza durante l'addestramento e l'inferenza. Investigando le caratteristiche fondamentali del loro primitivo computazionale, identifichiamo gli elementi più critici per ciascuna strategia di ibridazione e proponiamo ulteriormente ricette di progettazione ottimali per entrambi i modelli ibridi. La nostra analisi completa fornisce indicazioni pratiche e intuizioni preziose per lo sviluppo di modelli linguistici ibridi, facilitando l'ottimizzazione delle configurazioni architetturali.

English

Recent progress in large language models demonstrates that hybrid architectures--combining self-attention mechanisms with structured state space models like Mamba--can achieve a compelling balance between modeling quality and computational efficiency, particularly for long-context tasks. While these hybrid models show promising performance, systematic comparisons of hybridization strategies and analyses on the key factors behind their effectiveness have not been clearly shared to the community. In this work, we present a holistic evaluation of hybrid architectures based on inter-layer (sequential) or intra-layer (parallel) fusion. We evaluate these designs from a variety of perspectives: language modeling performance, long-context capabilities, scaling analysis, and training and inference efficiency. By investigating the core characteristics of their computational primitive, we identify the most critical elements for each hybridization strategy and further propose optimal design recipes for both hybrid models. Our comprehensive analysis provides practical guidance and valuable insights for developing hybrid language models, facilitating the optimization of architectural configurations.