Livelli Transformer come Pittori

Transformer Layers as Painters

July 12, 2024

Autori: Qi Sun, Marc Pickett, Aakash Kumar Nain, Llion Jones

cs.AI

Abstract

Nonostante la loro adozione quasi universale per i modelli linguistici di grandi dimensioni, il funzionamento interno dei transformer non è ben compreso. Il nostro obiettivo è comprendere meglio l'impatto della rimozione o della riorganizzazione delle informazioni attraverso i livelli di un transformer preaddestrato. Tale comprensione potrebbe portare sia a un migliore utilizzo dei modelli esistenti sia a miglioramenti architetturali per produrre nuove varianti. Presentiamo una serie di studi empirici su modelli congelati che dimostrano come i livelli inferiori e finali dei transformer preaddestrati differiscano dai livelli intermedi, ma che i livelli intermedi presentano una sorprendente uniformità. Mostriamo inoltre che alcune classi di problemi sono robuste rispetto al salto di livelli, all'esecuzione dei livelli in un ordine diverso da quello con cui sono stati addestrati o all'esecuzione dei livelli in parallelo. Le nostre osservazioni suggeriscono che anche i modelli preaddestrati congelati possono scambiare in modo elegante precisione con latenza saltando livelli o eseguendo livelli in parallelo.

English

Despite their nearly universal adoption for large language models, the internal workings of transformers are not well understood. We aim to better understand the impact of removing or reorganizing information throughout the layers of a pretrained transformer. Such an understanding could both yield better usage of existing models as well as to make architectural improvements to produce new variants. We present a series of empirical studies on frozen models that show that the lower and final layers of pretrained transformers differ from middle layers, but that middle layers have a surprising amount of uniformity. We further show that some classes of problems have robustness to skipping layers, running the layers in an order different from how they were trained, or running the layers in parallel. Our observations suggest that even frozen pretrained models may gracefully trade accuracy for latency by skipping layers or running layers in parallel.