L'Impatto di Profondità e Ampiezza sulla Generalizzazione dei Modelli Linguistici basati su Trasformatori

The Impact of Depth and Width on Transformer Language Model Generalization

October 30, 2023

Autori: Jackson Petty, Sjoerd van Steenkiste, Ishita Dasgupta, Fei Sha, Dan Garrette, Tal Linzen

cs.AI

Abstract

Per elaborare frasi nuove, i modelli linguistici (LM) devono generalizzare in modo composizionale, ovvero combinare elementi familiari in modi nuovi. Quali aspetti della struttura di un modello favoriscono la generalizzazione composizionale? Concentrandoci sui transformer, testiamo l'ipotesi, motivata da recenti lavori teorici ed empirici, che i transformer generalizzino in modo più composizionale quando sono più profondi (hanno più strati). Poiché semplicemente aggiungere strati aumenta il numero totale di parametri, confondendo profondità e dimensione, costruiamo tre classi di modelli che bilanciano profondità e larghezza in modo che il numero totale di parametri rimanga costante (41M, 134M e 374M parametri). Pre-addestriamo tutti i modelli come LM e li ottimizziamo su compiti che testano la generalizzazione composizionale. Riferiamo tre conclusioni principali: (1) dopo l'ottimizzazione, i modelli più profondi generalizzano meglio fuori distribuzione rispetto ai modelli più superficiali, ma il beneficio relativo di strati aggiuntivi diminuisce rapidamente; (2) all'interno di ciascuna famiglia, i modelli più profondi mostrano una migliore performance nella modellazione linguistica, ma i rendimenti diminuiscono in modo simile; (3) i benefici della profondità per la generalizzazione composizionale non possono essere attribuiti esclusivamente a una migliore performance nella modellazione linguistica o sui dati in distribuzione.

English

To process novel sentences, language models (LMs) must generalize compositionally -- combine familiar elements in new ways. What aspects of a model's structure promote compositional generalization? Focusing on transformers, we test the hypothesis, motivated by recent theoretical and empirical work, that transformers generalize more compositionally when they are deeper (have more layers). Because simply adding layers increases the total number of parameters, confounding depth and size, we construct three classes of models which trade off depth for width such that the total number of parameters is kept constant (41M, 134M and 374M parameters). We pretrain all models as LMs and fine-tune them on tasks that test for compositional generalization. We report three main conclusions: (1) after fine-tuning, deeper models generalize better out-of-distribution than shallower models do, but the relative benefit of additional layers diminishes rapidly; (2) within each family, deeper models show better language modeling performance, but returns are similarly diminishing; (3) the benefits of depth for compositional generalization cannot be attributed solely to better performance on language modeling or on in-distribution data.