De Impact van Diepte en Breedte op de Generalisatie van Transformer Taalmodellen

The Impact of Depth and Width on Transformer Language Model Generalization

October 30, 2023

Auteurs: Jackson Petty, Sjoerd van Steenkiste, Ishita Dasgupta, Fei Sha, Dan Garrette, Tal Linzen

cs.AI

Samenvatting

Om nieuwe zinnen te verwerken, moeten taalmodelen (LMs) compositioneel generaliseren — bekende elementen op nieuwe manieren combineren. Welke aspecten van de structuur van een model bevorderen compositionele generalisatie? Met de focus op transformers, testen we de hypothese, gemotiveerd door recent theoretisch en empirisch werk, dat transformers meer compositioneel generaliseren wanneer ze dieper zijn (meer lagen hebben). Omdat het simpelweg toevoegen van lagen het totale aantal parameters verhoogt, wat diepte en grootte verwart, construeren we drie klassen van modellen die diepte inruilen voor breedte, zodat het totale aantal parameters constant blijft (41M, 134M en 374M parameters). We pretrainen alle modellen als LMs en finetunen ze op taken die compositionele generalisatie testen. We rapporteren drie hoofdconclusies: (1) na finetuning generaliseren diepere modellen beter buiten de distributie dan ondiepere modellen, maar het relatieve voordeel van extra lagen neemt snel af; (2) binnen elke familie presteren diepere modellen beter op taalmodeling, maar de opbrengsten nemen op vergelijkbare wijze af; (3) de voordelen van diepte voor compositionele generalisatie kunnen niet uitsluitend worden toegeschreven aan betere prestaties op taalmodeling of op binnen-distributiegegevens.

English

To process novel sentences, language models (LMs) must generalize compositionally -- combine familiar elements in new ways. What aspects of a model's structure promote compositional generalization? Focusing on transformers, we test the hypothesis, motivated by recent theoretical and empirical work, that transformers generalize more compositionally when they are deeper (have more layers). Because simply adding layers increases the total number of parameters, confounding depth and size, we construct three classes of models which trade off depth for width such that the total number of parameters is kept constant (41M, 134M and 374M parameters). We pretrain all models as LMs and fine-tune them on tasks that test for compositional generalization. We report three main conclusions: (1) after fine-tuning, deeper models generalize better out-of-distribution than shallower models do, but the relative benefit of additional layers diminishes rapidly; (2) within each family, deeper models show better language modeling performance, but returns are similarly diminishing; (3) the benefits of depth for compositional generalization cannot be attributed solely to better performance on language modeling or on in-distribution data.