Modelos de Linguagem Afunilados

Resumo

Modelos de linguagem modernos, incluindo variantes baseadas em transformadores, recorrentes e com memória, compartilham um chassi comum: uma pilha de camadas idênticas nas quais os parâmetros são alocados uniformemente ao longo da profundidade. Trata-se de um padrão herdado do transformador original e praticamente inalterado desde então, mas um crescente conjunto de evidências sugere que as camadas contribuem de forma não uniforme para a saída final, com as camadas posteriores refinando o fluxo residual em vez de transformá-lo. Perguntamos se a capacidade de parâmetros deveria refletir essa assimetria. Nosso experimento controlado mostra que, sob um orçamento fixo, alocar mais capacidade às camadas iniciais e menos às posteriores melhora a perplexidade em relação a uma linha de base de largura uniforme, enquanto a alocação inversa a prejudica. Com base nesse resultado, introduzimos os Modelos de Linguagem Afunilhados (Tapered Language Models – TLMs), um princípio arquitetural no qual um componente portador de parâmetros é monotonicamente afunilado ao longo da profundidade sob um orçamento total fixo. Os MLPs são o local natural para essa instanciação: eles dominam a contagem de parâmetros em todas as famílias modernas de modelos de linguagem e expõem a largura como um eixo de variação único e limpo. Em três escalas de modelo e quatro arquiteturas (Transformer, Gated Attention, Hope-attention e Titans), afunilar a largura dos MLPs por meio de um agendamento cosseno suave melhora consistentemente a perplexidade e o desempenho em benchmarks downstream em relação às linhas de base uniformes, sem custo adicional de parâmetros ou computação. Esses achados estabelecem a alocação de capacidade ciente da profundidade como um eixo simples e independente de arquitetura no projeto de modelos de linguagem, uma alavanca gratuita escondida à vista de todos.

English

Modern language models, including transformer, recurrent, and memory-based variants, share a common chassis: a stack of identical layers in which parameters are allocated uniformly across depth. This is a default inherited from the original transformer and largely unchanged since, yet a growing body of evidence suggests that layers contribute non-uniformly to the final output, with later layers refining the residual stream rather than transforming it. We ask whether parameter capacity should reflect this asymmetry. Our controlled experiment shows that, under a fixed budget, allocating more capacity to earlier layers and less to later layers improves perplexity over a uniform-width baseline, while the reverse allocation hurts. Building on this result, we introduce Tapered Language Models (TLMs), an architectural principle in which a parameter-bearing component is monotonically tapered across depth under a fixed total budget. MLPs are the natural site for this instantiation: they dominate parameter count across all modern LM families and expose width as a single, clean axis of variation. Across three model scales and four architectures (Transformer, Gated Attention, Hope-attention, and Titans), tapering MLP width via a smooth cosine schedule consistently improves perplexity and downstream benchmark performance over uniform baselines, at no additional parameter or compute cost. These findings establish depth-aware capacity allocation as a simple, architecture-agnostic axis of language model design, a free lever hidden in plain sight.