O Impacto da Profundidade e Largura na Generalização de Modelos de Linguagem Transformer

The Impact of Depth and Width on Transformer Language Model Generalization

October 30, 2023

Autores: Jackson Petty, Sjoerd van Steenkiste, Ishita Dasgupta, Fei Sha, Dan Garrette, Tal Linzen

cs.AI

Resumo

Para processar novas sentenças, os modelos de linguagem (LMs) devem generalizar de forma composicional — combinar elementos familiares de novas maneiras. Quais aspectos da estrutura de um modelo promovem a generalização composicional? Focando em transformadores, testamos a hipótese, motivada por trabalhos teóricos e empíricos recentes, de que os transformadores generalizam de forma mais composicional quando são mais profundos (possuem mais camadas). Como simplesmente adicionar camadas aumenta o número total de parâmetros, confundindo profundidade e tamanho, construímos três classes de modelos que equilibram profundidade e largura, de modo que o número total de parâmetros seja mantido constante (41M, 134M e 374M de parâmetros). Pré-treinamos todos os modelos como LMs e os ajustamos finamente em tarefas que testam a generalização composicional. Relatamos três conclusões principais: (1) após o ajuste fino, modelos mais profundos generalizam melhor fora da distribuição do que modelos mais rasos, mas o benefício relativo de camadas adicionais diminui rapidamente; (2) dentro de cada família, modelos mais profundos apresentam melhor desempenho em modelagem de linguagem, mas os retornos também diminuem de forma semelhante; (3) os benefícios da profundidade para a generalização composicional não podem ser atribuídos apenas a um melhor desempenho na modelagem de linguagem ou em dados dentro da distribuição.

English

To process novel sentences, language models (LMs) must generalize compositionally -- combine familiar elements in new ways. What aspects of a model's structure promote compositional generalization? Focusing on transformers, we test the hypothesis, motivated by recent theoretical and empirical work, that transformers generalize more compositionally when they are deeper (have more layers). Because simply adding layers increases the total number of parameters, confounding depth and size, we construct three classes of models which trade off depth for width such that the total number of parameters is kept constant (41M, 134M and 374M parameters). We pretrain all models as LMs and fine-tune them on tasks that test for compositional generalization. We report three main conclusions: (1) after fine-tuning, deeper models generalize better out-of-distribution than shallower models do, but the relative benefit of additional layers diminishes rapidly; (2) within each family, deeper models show better language modeling performance, but returns are similarly diminishing; (3) the benefits of depth for compositional generalization cannot be attributed solely to better performance on language modeling or on in-distribution data.