Сужающиеся языковые модели

Аннотация

Современные языковые модели, включая трансформеры, рекуррентные архитектуры и варианты с памятью, имеют общий каркас: стопка идентичных слоёв, в которых параметры распределены равномерно по глубине. Это стандартное решение, унаследованное от оригинального трансформера и практически не изменившееся с тех пор, хотя накапливается всё больше данных, свидетельствующих о том, что слои вносят неравномерный вклад в конечный результат: более поздние слои скорее уточняют остаточный поток, нежели преобразуют его. Мы задаёмся вопросом, должна ли ёмкость параметров отражать эту асимметрию. Наш контролируемый эксперимент показывает, что при фиксированном бюджете выделение большей ёмкости ранним слоям и меньшей — поздним улучшает перплексию по сравнению с эталонной архитектурой равномерной ширины, в то время как обратное распределение ухудшает показатели. Основываясь на этом результате, мы представляем сужающиеся языковые модели (Tapered Language Models, TLM) — архитектурный принцип, в котором несущий параметры компонент монотонно сужается по глубине при фиксированном общем бюджете. MLP являются естественным местом для такого воплощения: они доминируют по количеству параметров во всех современных семействах языковых моделей и предоставляют ширину как единственную чистую ось изменчивости. На трёх масштабах моделей и четырёх архитектурах (Transformer, Gated Attention, Hope-attention и Titans) сужение ширины MLP с помощью плавного косинусного расписания последовательно улучшает перплексию и производительность на эталонных тестах downstream по сравнению с равномерными эталонами, не увеличивая количество параметров или вычислительные затраты. Эти результаты устанавливают распределение ёмкости с учётом глубины как простую, не зависящую от архитектуры ось дизайна языковых моделей — бесплатный рычаг, скрытый на виду.

English

Modern language models, including transformer, recurrent, and memory-based variants, share a common chassis: a stack of identical layers in which parameters are allocated uniformly across depth. This is a default inherited from the original transformer and largely unchanged since, yet a growing body of evidence suggests that layers contribute non-uniformly to the final output, with later layers refining the residual stream rather than transforming it. We ask whether parameter capacity should reflect this asymmetry. Our controlled experiment shows that, under a fixed budget, allocating more capacity to earlier layers and less to later layers improves perplexity over a uniform-width baseline, while the reverse allocation hurts. Building on this result, we introduce Tapered Language Models (TLMs), an architectural principle in which a parameter-bearing component is monotonically tapered across depth under a fixed total budget. MLPs are the natural site for this instantiation: they dominate parameter count across all modern LM families and expose width as a single, clean axis of variation. Across three model scales and four architectures (Transformer, Gated Attention, Hope-attention, and Titans), tapering MLP width via a smooth cosine schedule consistently improves perplexity and downstream benchmark performance over uniform baselines, at no additional parameter or compute cost. These findings establish depth-aware capacity allocation as a simple, architecture-agnostic axis of language model design, a free lever hidden in plain sight.