Arquiteturas Híbridas para Modelos de Linguagem: Análise Sistemática e Insights de Projeto

Hybrid Architectures for Language Models: Systematic Analysis and Design Insights

October 6, 2025

Autores: Sangmin Bae, Bilge Acun, Haroun Habeeb, Seungyeon Kim, Chien-Yu Lin, Liang Luo, Junjie Wang, Carole-Jean Wu

cs.AI

Resumo

Os recentes avanços em modelos de linguagem de grande escala demonstram que arquiteturas híbridas—que combinam mecanismos de autoatenção com modelos de espaço de estados estruturados, como o Mamba—podem alcançar um equilíbrio convincente entre qualidade de modelagem e eficiência computacional, especialmente para tarefas de contexto longo. Embora esses modelos híbridos apresentem desempenho promissor, comparações sistemáticas de estratégias de hibridização e análises sobre os fatores-chave por trás de sua eficácia ainda não foram claramente compartilhadas com a comunidade. Neste trabalho, apresentamos uma avaliação holística de arquiteturas híbridas baseadas em fusão intercamadas (sequencial) ou intracamadas (paralela). Avaliamos esses projetos sob diversas perspectivas: desempenho em modelagem de linguagem, capacidades de contexto longo, análise de escalabilidade e eficiência de treinamento e inferência. Ao investigar as características centrais de seu primitivo computacional, identificamos os elementos mais críticos para cada estratégia de hibridização e, adicionalmente, propomos receitas de design ideais para ambos os modelos híbridos. Nossa análise abrangente fornece orientações práticas e insights valiosos para o desenvolvimento de modelos de linguagem híbridos, facilitando a otimização de configurações arquitetônicas.

English

Recent progress in large language models demonstrates that hybrid architectures--combining self-attention mechanisms with structured state space models like Mamba--can achieve a compelling balance between modeling quality and computational efficiency, particularly for long-context tasks. While these hybrid models show promising performance, systematic comparisons of hybridization strategies and analyses on the key factors behind their effectiveness have not been clearly shared to the community. In this work, we present a holistic evaluation of hybrid architectures based on inter-layer (sequential) or intra-layer (parallel) fusion. We evaluate these designs from a variety of perspectives: language modeling performance, long-context capabilities, scaling analysis, and training and inference efficiency. By investigating the core characteristics of their computational primitive, we identify the most critical elements for each hybridization strategy and further propose optimal design recipes for both hybrid models. Our comprehensive analysis provides practical guidance and valuable insights for developing hybrid language models, facilitating the optimization of architectural configurations.