Der Einfluss von Tiefe und Breite auf die Generalisierung von Transformer-Sprachmodellen

The Impact of Depth and Width on Transformer Language Model Generalization

October 30, 2023

Autoren: Jackson Petty, Sjoerd van Steenkiste, Ishita Dasgupta, Fei Sha, Dan Garrette, Tal Linzen

cs.AI

Zusammenfassung

Um neue Sätze zu verarbeiten, müssen Sprachmodelle (LMs) kompositionell generalisieren – bekannte Elemente auf neue Weise kombinieren. Welche Aspekte der Modellstruktur fördern die kompositionelle Generalisierung? Mit Fokus auf Transformer testen wir die Hypothese, die durch aktuelle theoretische und empirische Arbeiten motiviert ist, dass Transformer kompositioneller generalisieren, wenn sie tiefer sind (mehr Schichten haben). Da das einfache Hinzufügen von Schichten die Gesamtzahl der Parameter erhöht und somit Tiefe und Größe verwechselt, konstruieren wir drei Klassen von Modellen, die Tiefe gegen Breite austauschen, sodass die Gesamtzahl der Parameter konstant bleibt (41M, 134M und 374M Parameter). Wir pretrainieren alle Modelle als LMs und feintunen sie auf Aufgaben, die die kompositionelle Generalisierung testen. Wir berichten drei Hauptschlussfolgerungen: (1) Nach dem Feintuning generalisieren tiefere Modelle besser außerhalb der Verteilung als flachere Modelle, aber der relative Nutzen zusätzlicher Schichten nimmt rapide ab; (2) innerhalb jeder Familie zeigen tiefere Modelle eine bessere Sprachmodellierungsleistung, aber die Erträge nehmen ähnlich ab; (3) die Vorteile der Tiefe für die kompositionelle Generalisierung können nicht allein auf eine bessere Leistung bei der Sprachmodellierung oder auf In-Distribution-Daten zurückgeführt werden.

English

To process novel sentences, language models (LMs) must generalize compositionally -- combine familiar elements in new ways. What aspects of a model's structure promote compositional generalization? Focusing on transformers, we test the hypothesis, motivated by recent theoretical and empirical work, that transformers generalize more compositionally when they are deeper (have more layers). Because simply adding layers increases the total number of parameters, confounding depth and size, we construct three classes of models which trade off depth for width such that the total number of parameters is kept constant (41M, 134M and 374M parameters). We pretrain all models as LMs and fine-tune them on tasks that test for compositional generalization. We report three main conclusions: (1) after fine-tuning, deeper models generalize better out-of-distribution than shallower models do, but the relative benefit of additional layers diminishes rapidly; (2) within each family, deeper models show better language modeling performance, but returns are similarly diminishing; (3) the benefits of depth for compositional generalization cannot be attributed solely to better performance on language modeling or on in-distribution data.