Capas de Transformador como Pintores

Transformer Layers as Painters

July 12, 2024

Autores: Qi Sun, Marc Pickett, Aakash Kumar Nain, Llion Jones

cs.AI

Resumen

A pesar de su casi adopción universal en grandes modelos de lenguaje, no se comprenden bien los mecanismos internos de los transformadores. Nuestro objetivo es comprender mejor el impacto de eliminar o reorganizar la información a lo largo de las capas de un transformador preentrenado. Dicha comprensión podría conducir tanto a un mejor uso de los modelos existentes como a realizar mejoras arquitectónicas para producir nuevas variantes. Presentamos una serie de estudios empíricos sobre modelos congelados que muestran que las capas inferiores y finales de los transformadores preentrenados difieren de las capas intermedias, pero que las capas intermedias tienen una cantidad sorprendente de uniformidad. Además, demostramos que algunas clases de problemas son robustas a saltarse capas, ejecutar las capas en un orden diferente al de su entrenamiento, o ejecutar las capas en paralelo. Nuestras observaciones sugieren que incluso los modelos preentrenados congelados pueden intercambiar con elegancia precisión por latencia al saltar capas o ejecutarlas en paralelo.

English

Despite their nearly universal adoption for large language models, the internal workings of transformers are not well understood. We aim to better understand the impact of removing or reorganizing information throughout the layers of a pretrained transformer. Such an understanding could both yield better usage of existing models as well as to make architectural improvements to produce new variants. We present a series of empirical studies on frozen models that show that the lower and final layers of pretrained transformers differ from middle layers, but that middle layers have a surprising amount of uniformity. We further show that some classes of problems have robustness to skipping layers, running the layers in an order different from how they were trained, or running the layers in parallel. Our observations suggest that even frozen pretrained models may gracefully trade accuracy for latency by skipping layers or running layers in parallel.