Vous n'exploitez pas pleinement la capacité de représentation des Transformers

You Do Not Fully Utilize Transformer's Representation Capacity

February 13, 2025

Auteurs: Gleb Gerasimov, Yaroslav Aksenov, Nikita Balagansky, Viacheslav Sinii, Daniil Gavrilov

cs.AI

Résumé

Contrairement aux RNN, qui compriment les tokens précédents en un seul état caché, les Transformers peuvent accéder directement à tous les tokens antérieurs. Cependant, les Transformers standard n'utilisent que les représentations provenant de la couche immédiatement précédente. Dans cet article, nous montrons que ce choix de conception entraîne un effondrement des représentations et conduit à des performances sous-optimales. Pour résoudre ce problème, nous introduisons Layer-Integrated Memory (LIMe), une approche simple mais puissante qui préserve l'empreinte mémoire globale du modèle tout en augmentant sa capacité de représentation en permettant l'accès aux états cachés des couches antérieures. Grâce à des expériences approfondies sur diverses architectures et différents mécanismes de recherche, nous démontrons des améliorations de performances constantes sur un large éventail de tâches. De plus, notre analyse de la dynamique des représentations apprises et notre exploration des circuits en profondeur révèlent comment LIMe intègre l'information à travers les couches, ouvrant des perspectives prometteuses pour de futures recherches.

English

In contrast to RNNs, which compress previous tokens into a single hidden state, Transformers can attend to all previous tokens directly. However, standard Transformers only use representations from the immediately preceding layer. In this paper, we show that this design choice causes representation collapse and leads to suboptimal performance. To address this issue, we introduce Layer-Integrated Memory (LIMe), a simple yet powerful approach that preserves the model's overall memory footprint while expanding its representational capacity by allowing access to hidden states from earlier layers. Through extensive experiments across various architectures and different lookup mechanisms, we demonstrate consistent performance improvements on a wide range of tasks. Moreover, our analysis of the learned representation dynamics and our exploration of depthwise circuits reveal how LIMe integrates information across layers, pointing to promising directions for future research.