Camadas de Transformador como Pintores

Transformer Layers as Painters

July 12, 2024

Autores: Qi Sun, Marc Pickett, Aakash Kumar Nain, Llion Jones

cs.AI

Resumo

Apesar da sua adoção quase universal para grandes modelos de linguagem, os mecanismos internos dos transformadores não são bem compreendidos. Nosso objetivo é compreender melhor o impacto da remoção ou reorganização de informações ao longo das camadas de um transformador pré-treinado. Tal compreensão poderia resultar em um melhor uso dos modelos existentes, bem como em melhorias arquiteturais para produzir novas variantes. Apresentamos uma série de estudos empíricos em modelos congelados que mostram que as camadas inferiores e finais dos transformadores pré-treinados diferem das camadas intermediárias, mas que as camadas intermediárias têm uma quantidade surpreendente de uniformidade. Mostramos ainda que algumas classes de problemas têm robustez para pular camadas, executar as camadas em uma ordem diferente daquela em que foram treinadas, ou executar as camadas em paralelo. Nossas observações sugerem que mesmo modelos pré-treinados congelados podem trocar com elegância precisão por latência ao pular camadas ou executar as camadas em paralelo.

English

Despite their nearly universal adoption for large language models, the internal workings of transformers are not well understood. We aim to better understand the impact of removing or reorganizing information throughout the layers of a pretrained transformer. Such an understanding could both yield better usage of existing models as well as to make architectural improvements to produce new variants. We present a series of empirical studies on frozen models that show that the lower and final layers of pretrained transformers differ from middle layers, but that middle layers have a surprising amount of uniformity. We further show that some classes of problems have robustness to skipping layers, running the layers in an order different from how they were trained, or running the layers in parallel. Our observations suggest that even frozen pretrained models may gracefully trade accuracy for latency by skipping layers or running layers in parallel.