Arquitecturas Híbridas para Modelos de Lenguaje: Análisis Sistemático y Perspectivas de Diseño

Hybrid Architectures for Language Models: Systematic Analysis and Design Insights

October 6, 2025

Autores: Sangmin Bae, Bilge Acun, Haroun Habeeb, Seungyeon Kim, Chien-Yu Lin, Liang Luo, Junjie Wang, Carole-Jean Wu

cs.AI

Resumen

Los avances recientes en los modelos de lenguaje de gran escala demuestran que las arquitecturas híbridas—que combinan mecanismos de autoatención con modelos de espacio de estados estructurados como Mamba—pueden lograr un equilibrio convincente entre la calidad del modelado y la eficiencia computacional, particularmente para tareas de contexto largo. Aunque estos modelos híbridos muestran un rendimiento prometedor, las comparaciones sistemáticas de las estrategias de hibridación y los análisis sobre los factores clave detrás de su efectividad no han sido claramente compartidos con la comunidad. En este trabajo, presentamos una evaluación holística de arquitecturas híbridas basadas en fusión inter-capa (secuencial) o intra-capa (paralela). Evaluamos estos diseños desde diversas perspectivas: rendimiento en modelado de lenguaje, capacidades de contexto largo, análisis de escalabilidad y eficiencia en entrenamiento e inferencia. Al investigar las características fundamentales de su primitiva computacional, identificamos los elementos más críticos para cada estrategia de hibridación y, además, proponemos recetas de diseño óptimas para ambos modelos híbridos. Nuestro análisis integral proporciona orientación práctica y perspectivas valiosas para el desarrollo de modelos de lenguaje híbridos, facilitando la optimización de configuraciones arquitectónicas.

English

Recent progress in large language models demonstrates that hybrid architectures--combining self-attention mechanisms with structured state space models like Mamba--can achieve a compelling balance between modeling quality and computational efficiency, particularly for long-context tasks. While these hybrid models show promising performance, systematic comparisons of hybridization strategies and analyses on the key factors behind their effectiveness have not been clearly shared to the community. In this work, we present a holistic evaluation of hybrid architectures based on inter-layer (sequential) or intra-layer (parallel) fusion. We evaluate these designs from a variety of perspectives: language modeling performance, long-context capabilities, scaling analysis, and training and inference efficiency. By investigating the core characteristics of their computational primitive, we identify the most critical elements for each hybridization strategy and further propose optimal design recipes for both hybrid models. Our comprehensive analysis provides practical guidance and valuable insights for developing hybrid language models, facilitating the optimization of architectural configurations.