Гибридные архитектуры для языковых моделей: систематический анализ и принципы проектирования

Hybrid Architectures for Language Models: Systematic Analysis and Design Insights

October 6, 2025

Авторы: Sangmin Bae, Bilge Acun, Haroun Habeeb, Seungyeon Kim, Chien-Yu Lin, Liang Luo, Junjie Wang, Carole-Jean Wu

cs.AI

Аннотация

Последние достижения в области больших языковых моделей демонстрируют, что гибридные архитектуры, сочетающие механизмы самовнимания с структурированными моделями пространства состояний, такими как Mamba, могут достичь убедительного баланса между качеством моделирования и вычислительной эффективностью, особенно для задач с длинным контекстом. Хотя эти гибридные модели демонстрируют многообещающую производительность, систематические сравнения стратегий гибридизации и анализ ключевых факторов, лежащих в основе их эффективности, еще не были четко представлены сообществу. В данной работе мы представляем всестороннюю оценку гибридных архитектур, основанных на межслойном (последовательном) или внутрислойном (параллельном) объединении. Мы оцениваем эти конструкции с различных точек зрения: производительность в языковом моделировании, способности к работе с длинным контекстом, анализ масштабируемости, а также эффективность обучения и вывода. Исследуя ключевые характеристики их вычислительных примитивов, мы определяем наиболее важные элементы для каждой стратегии гибридизации и дополнительно предлагаем оптимальные рецепты проектирования для обеих гибридных моделей. Наш всесторонний анализ предоставляет практические рекомендации и ценные инсайты для разработки гибридных языковых моделей, способствуя оптимизации архитектурных конфигураций.

English

Recent progress in large language models demonstrates that hybrid architectures--combining self-attention mechanisms with structured state space models like Mamba--can achieve a compelling balance between modeling quality and computational efficiency, particularly for long-context tasks. While these hybrid models show promising performance, systematic comparisons of hybridization strategies and analyses on the key factors behind their effectiveness have not been clearly shared to the community. In this work, we present a holistic evaluation of hybrid architectures based on inter-layer (sequential) or intra-layer (parallel) fusion. We evaluate these designs from a variety of perspectives: language modeling performance, long-context capabilities, scaling analysis, and training and inference efficiency. By investigating the core characteristics of their computational primitive, we identify the most critical elements for each hybridization strategy and further propose optimal design recipes for both hybrid models. Our comprehensive analysis provides practical guidance and valuable insights for developing hybrid language models, facilitating the optimization of architectural configurations.