El Impacto de la Profundidad y la Amplitud en la Generalización de Modelos de Lenguaje Basados en Transformers

The Impact of Depth and Width on Transformer Language Model Generalization

October 30, 2023

Autores: Jackson Petty, Sjoerd van Steenkiste, Ishita Dasgupta, Fei Sha, Dan Garrette, Tal Linzen

cs.AI

Resumen

Para procesar oraciones novedosas, los modelos de lenguaje (LMs) deben generalizar de manera composicional: combinar elementos familiares en nuevas formas. ¿Qué aspectos de la estructura de un modelo promueven la generalización composicional? Centrándonos en los transformadores, probamos la hipótesis, motivada por trabajos teóricos y empíricos recientes, de que los transformadores generalizan de manera más composicional cuando son más profundos (tienen más capas). Dado que simplemente agregar capas aumenta el número total de parámetros, confundiendo profundidad y tamaño, construimos tres clases de modelos que intercambian profundidad por anchura, de modo que el número total de parámetros se mantenga constante (41M, 134M y 374M parámetros). Preentrenamos todos los modelos como LMs y los ajustamos en tareas que prueban la generalización composicional. Reportamos tres conclusiones principales: (1) después del ajuste fino, los modelos más profundos generalizan mejor fuera de distribución que los modelos más superficiales, pero el beneficio relativo de capas adicionales disminuye rápidamente; (2) dentro de cada familia, los modelos más profundos muestran un mejor rendimiento en modelado de lenguaje, pero los retornos disminuyen de manera similar; (3) los beneficios de la profundidad para la generalización composicional no pueden atribuirse únicamente a un mejor rendimiento en modelado de lenguaje o en datos dentro de la distribución.

English

To process novel sentences, language models (LMs) must generalize compositionally -- combine familiar elements in new ways. What aspects of a model's structure promote compositional generalization? Focusing on transformers, we test the hypothesis, motivated by recent theoretical and empirical work, that transformers generalize more compositionally when they are deeper (have more layers). Because simply adding layers increases the total number of parameters, confounding depth and size, we construct three classes of models which trade off depth for width such that the total number of parameters is kept constant (41M, 134M and 374M parameters). We pretrain all models as LMs and fine-tune them on tasks that test for compositional generalization. We report three main conclusions: (1) after fine-tuning, deeper models generalize better out-of-distribution than shallower models do, but the relative benefit of additional layers diminishes rapidly; (2) within each family, deeper models show better language modeling performance, but returns are similarly diminishing; (3) the benefits of depth for compositional generalization cannot be attributed solely to better performance on language modeling or on in-distribution data.