Влияние глубины и ширины на обобщающую способность трансформаторных языковых моделей
The Impact of Depth and Width on Transformer Language Model Generalization
October 30, 2023
Авторы: Jackson Petty, Sjoerd van Steenkiste, Ishita Dasgupta, Fei Sha, Dan Garrette, Tal Linzen
cs.AI
Аннотация
Для обработки новых предложений языковые модели (LMs) должны обобщать композиционно — комбинировать знакомые элементы новыми способами. Какие аспекты структуры модели способствуют композиционному обобщению? Сосредоточившись на трансформерах, мы проверяем гипотезу, мотивированную недавними теоретическими и эмпирическими исследованиями, что трансформеры обобщают более композиционно, когда они глубже (имеют больше слоев). Поскольку простое добавление слоев увеличивает общее количество параметров, смешивая глубину и размер, мы создаем три класса моделей, которые компенсируют глубину за счет ширины, сохраняя при этом постоянное общее количество параметров (41 млн, 134 млн и 374 млн параметров). Мы предварительно обучаем все модели как LMs и дообучаем их на задачах, проверяющих композиционное обобщение. Мы сообщаем три основных вывода: (1) после дообучения более глубокие модели обобщают лучше вне распределения, чем более мелкие, но относительная польза от дополнительных слоев быстро уменьшается; (2) внутри каждого семейства более глубокие модели демонстрируют лучшую производительность в языковом моделировании, но отдача также уменьшается; (3) преимущества глубины для композиционного обобщения нельзя объяснить исключительно лучшей производительностью в языковом моделировании или на данных из распределения.
English
To process novel sentences, language models (LMs) must generalize
compositionally -- combine familiar elements in new ways. What aspects of a
model's structure promote compositional generalization? Focusing on
transformers, we test the hypothesis, motivated by recent theoretical and
empirical work, that transformers generalize more compositionally when they are
deeper (have more layers). Because simply adding layers increases the total
number of parameters, confounding depth and size, we construct three classes of
models which trade off depth for width such that the total number of parameters
is kept constant (41M, 134M and 374M parameters). We pretrain all models as LMs
and fine-tune them on tasks that test for compositional generalization. We
report three main conclusions: (1) after fine-tuning, deeper models generalize
better out-of-distribution than shallower models do, but the relative benefit
of additional layers diminishes rapidly; (2) within each family, deeper models
show better language modeling performance, but returns are similarly
diminishing; (3) the benefits of depth for compositional generalization cannot
be attributed solely to better performance on language modeling or on
in-distribution data.