L'impact de la profondeur et de la largeur sur la généralisation des modèles de langage Transformer

The Impact of Depth and Width on Transformer Language Model Generalization

October 30, 2023

Auteurs: Jackson Petty, Sjoerd van Steenkiste, Ishita Dasgupta, Fei Sha, Dan Garrette, Tal Linzen

cs.AI

Résumé

Pour traiter des phrases nouvelles, les modèles de langage (LMs) doivent généraliser de manière compositionnelle — c'est-à-dire combiner des éléments familiers de nouvelles manières. Quels aspects de la structure d'un modèle favorisent cette généralisation compositionnelle ? En nous concentrant sur les transformers, nous testons l'hypothèse, motivée par des travaux théoriques et empiriques récents, que les transformers généralisent de manière plus compositionnelle lorsqu'ils sont plus profonds (possèdent plus de couches). Comme l'ajout simple de couches augmente le nombre total de paramètres, confondant ainsi profondeur et taille, nous construisons trois classes de modèles qui échangent la profondeur contre la largeur, de sorte que le nombre total de paramètres reste constant (41M, 134M et 374M de paramètres). Nous pré-entraînons tous les modèles en tant que LMs et les affinons sur des tâches testant la généralisation compositionnelle. Nous rapportons trois conclusions principales : (1) après affinage, les modèles plus profonds généralisent mieux hors distribution que les modèles moins profonds, mais l'avantage relatif des couches supplémentaires diminue rapidement ; (2) au sein de chaque famille, les modèles plus profonds montrent de meilleures performances en modélisation du langage, mais les rendements diminuent de manière similaire ; (3) les avantages de la profondeur pour la généralisation compositionnelle ne peuvent pas être attribués uniquement à de meilleures performances en modélisation du langage ou sur des données en distribution.

English

To process novel sentences, language models (LMs) must generalize compositionally -- combine familiar elements in new ways. What aspects of a model's structure promote compositional generalization? Focusing on transformers, we test the hypothesis, motivated by recent theoretical and empirical work, that transformers generalize more compositionally when they are deeper (have more layers). Because simply adding layers increases the total number of parameters, confounding depth and size, we construct three classes of models which trade off depth for width such that the total number of parameters is kept constant (41M, 134M and 374M parameters). We pretrain all models as LMs and fine-tune them on tasks that test for compositional generalization. We report three main conclusions: (1) after fine-tuning, deeper models generalize better out-of-distribution than shallower models do, but the relative benefit of additional layers diminishes rapidly; (2) within each family, deeper models show better language modeling performance, but returns are similarly diminishing; (3) the benefits of depth for compositional generalization cannot be attributed solely to better performance on language modeling or on in-distribution data.