Слои трансформера как художники

Transformer Layers as Painters

July 12, 2024

Авторы: Qi Sun, Marc Pickett, Aakash Kumar Nain, Llion Jones

cs.AI

Аннотация

Несмотря на их почти универсальное применение для крупных языковых моделей, внутренние механизмы трансформеров плохо понимаются. Мы стремимся лучше понять влияние удаления или переупорядочивания информации во всех слоях предварительно обученного трансформера. Такое понимание может как улучшить использование существующих моделей, так и привести к архитектурным улучшениям для создания новых вариантов. Мы представляем серию эмпирических исследований на замороженных моделях, которые показывают, что нижние и конечные слои предварительно обученных трансформеров отличаются от средних слоев, но что средние слои обладают удивительным уровнем однородности. Мы также показываем, что некоторые классы проблем обладают устойчивостью к пропуску слоев, запуску слоев в другом порядке, отличном от обученного, или запуску слоев параллельно. Наши наблюдения подтверждают, что даже замороженные предварительно обученные модели могут гибко обменивать точность на задержку, пропуская слои или запуская слои параллельно.

English

Despite their nearly universal adoption for large language models, the internal workings of transformers are not well understood. We aim to better understand the impact of removing or reorganizing information throughout the layers of a pretrained transformer. Such an understanding could both yield better usage of existing models as well as to make architectural improvements to produce new variants. We present a series of empirical studies on frozen models that show that the lower and final layers of pretrained transformers differ from middle layers, but that middle layers have a surprising amount of uniformity. We further show that some classes of problems have robustness to skipping layers, running the layers in an order different from how they were trained, or running the layers in parallel. Our observations suggest that even frozen pretrained models may gracefully trade accuracy for latency by skipping layers or running layers in parallel.