Modèles de langage effilés

Résumé

Les modèles de langage modernes, qu’ils soient à base de transformeurs, de réseaux récurrents ou de mécanismes à mémoire, partagent une architecture commune : une pile de couches identiques où les paramètres sont répartis uniformément sur la profondeur. Il s’agit d’un choix par défaut hérité du transformeur original et demeuré largement inchangé, bien qu’un nombre croissant de preuves suggère que les couches contribuent de manière non uniforme à la sortie finale, les couches ultérieures affinant le flux résiduel plutôt que le transformant. Nous nous demandons si la capacité paramétrique devrait refléter cette asymétrie. Notre expérience contrôlée montre que, sous un budget fixe, allouer davantage de capacité aux premières couches et moins aux dernières améliore la perplexité par rapport à une ligne de base à largeur uniforme, tandis que l’allocation inverse la détériore. En nous appuyant sur ce résultat, nous introduisons les modèles de langage à effilement progressif (Tapered Language Models, TLMs), un principe architectural dans lequel un composant porteur de paramètres est monotoneusement réduit sur la profondeur à budget total fixe. Les MLP constituent le site naturel de cette instanciation : ils dominent le nombre de paramètres dans toutes les familles modernes de modèles de langage et offrent la largeur comme axe de variation unique et clair. À travers trois échelles de modèle et quatre architectures (Transformeur, Attention à portes, Attention Hope et Titans), l’effilement de la largeur des MLP via un programme cosinus lisse améliore systématiquement la perplexité et les performances sur les tâches en aval par rapport aux lignes de base uniformes, sans coût supplémentaire en paramètres ou en calcul. Ces résultats établissent l’allocation de capacité tenant compte de la profondeur comme un axe simple et indépendant de l’architecture pour la conception de modèles de langage — un levier gratuit, caché à la vue de tous.

English

Modern language models, including transformer, recurrent, and memory-based variants, share a common chassis: a stack of identical layers in which parameters are allocated uniformly across depth. This is a default inherited from the original transformer and largely unchanged since, yet a growing body of evidence suggests that layers contribute non-uniformly to the final output, with later layers refining the residual stream rather than transforming it. We ask whether parameter capacity should reflect this asymmetry. Our controlled experiment shows that, under a fixed budget, allocating more capacity to earlier layers and less to later layers improves perplexity over a uniform-width baseline, while the reverse allocation hurts. Building on this result, we introduce Tapered Language Models (TLMs), an architectural principle in which a parameter-bearing component is monotonically tapered across depth under a fixed total budget. MLPs are the natural site for this instantiation: they dominate parameter count across all modern LM families and expose width as a single, clean axis of variation. Across three model scales and four architectures (Transformer, Gated Attention, Hope-attention, and Titans), tapering MLP width via a smooth cosine schedule consistently improves perplexity and downstream benchmark performance over uniform baselines, at no additional parameter or compute cost. These findings establish depth-aware capacity allocation as a simple, architecture-agnostic axis of language model design, a free lever hidden in plain sight.