Couches de Transformer en tant que peintres

Transformer Layers as Painters

July 12, 2024

Auteurs: Qi Sun, Marc Pickett, Aakash Kumar Nain, Llion Jones

cs.AI

Résumé

Malgré leur adoption quasi universelle pour les grands modèles de langage, le fonctionnement interne des transformateurs reste mal compris. Notre objectif est de mieux comprendre l'impact de la suppression ou de la réorganisation de l'information à travers les couches d'un transformeur pré-entraîné. Une telle compréhension pourrait à la fois permettre une meilleure utilisation des modèles existants et conduire à des améliorations architecturales pour produire de nouvelles variantes. Nous présentons une série d'études empiriques sur des modèles figés qui montrent que les couches inférieures et finales des transformeurs pré-entraînés diffèrent des couches intermédiaires, mais que ces dernières présentent un degré surprenant d'uniformité. Nous démontrons en outre que certaines classes de problèmes présentent une robustesse au saut de couches, à l'exécution des couches dans un ordre différent de celui utilisé lors de l'entraînement, ou à l'exécution parallèle des couches. Nos observations suggèrent que même les modèles pré-entraînés figés peuvent échanger avec élégance la précision contre la latence en sautant des couches ou en exécutant des couches en parallèle.

English

Despite their nearly universal adoption for large language models, the internal workings of transformers are not well understood. We aim to better understand the impact of removing or reorganizing information throughout the layers of a pretrained transformer. Such an understanding could both yield better usage of existing models as well as to make architectural improvements to produce new variants. We present a series of empirical studies on frozen models that show that the lower and final layers of pretrained transformers differ from middle layers, but that middle layers have a surprising amount of uniformity. We further show that some classes of problems have robustness to skipping layers, running the layers in an order different from how they were trained, or running the layers in parallel. Our observations suggest that even frozen pretrained models may gracefully trade accuracy for latency by skipping layers or running layers in parallel.