Transformer-lagen als schilders

Transformer Layers as Painters

July 12, 2024

Auteurs: Qi Sun, Marc Pickett, Aakash Kumar Nain, Llion Jones

cs.AI

Samenvatting

Ondanks hun bijna universele toepassing voor grote taalmodelen, zijn de interne werking van transformers niet goed begrepen. Wij streven ernaar om beter te begrijpen wat de impact is van het verwijderen of herschikken van informatie door de lagen van een voorgetrainde transformer heen. Zo'n begrip zou zowel een beter gebruik van bestaande modellen kunnen opleveren als architectonische verbeteringen om nieuwe varianten te produceren. Wij presenteren een reeks empirische studies op bevroren modellen die aantonen dat de onderste en laatste lagen van voorgetrainde transformers verschillen van de middelste lagen, maar dat de middelste lagen een verrassende mate van uniformiteit vertonen. We tonen verder aan dat sommige probleemklassen robuust zijn tegen het overslaan van lagen, het uitvoeren van de lagen in een andere volgorde dan waarin ze zijn getraind, of het parallel uitvoeren van de lagen. Onze observaties suggereren dat zelfs bevroren voorgetrainde modellen elegant nauwkeurigheid kunnen inruilen voor latentie door lagen over te slaan of lagen parallel uit te voeren.

English

Despite their nearly universal adoption for large language models, the internal workings of transformers are not well understood. We aim to better understand the impact of removing or reorganizing information throughout the layers of a pretrained transformer. Such an understanding could both yield better usage of existing models as well as to make architectural improvements to produce new variants. We present a series of empirical studies on frozen models that show that the lower and final layers of pretrained transformers differ from middle layers, but that middle layers have a surprising amount of uniformity. We further show that some classes of problems have robustness to skipping layers, running the layers in an order different from how they were trained, or running the layers in parallel. Our observations suggest that even frozen pretrained models may gracefully trade accuracy for latency by skipping layers or running layers in parallel.