Je benut de representatiecapaciteit van de transformer niet volledig.

You Do Not Fully Utilize Transformer's Representation Capacity

February 13, 2025

Auteurs: Gleb Gerasimov, Yaroslav Aksenov, Nikita Balagansky, Viacheslav Sinii, Daniil Gavrilov

cs.AI

Samenvatting

In tegenstelling tot RNN's, die voorgaande tokens comprimeren in een enkele verborgen toestand, kunnen Transformers direct aandacht besteden aan alle voorgaande tokens. Standaard Transformers gebruiken echter alleen representaties uit de direct voorafgaande laag. In dit artikel tonen we aan dat deze ontwerpkeuze leidt tot representatie-inzakking en suboptimale prestaties. Om dit probleem aan te pakken, introduceren we Layer-Integrated Memory (LIMe), een eenvoudige maar krachtige aanpak die de geheugenvoetafdruk van het model behoudt, terwijl de representatiecapaciteit wordt uitgebreid door toegang te bieden tot verborgen toestanden uit eerdere lagen. Door uitgebreide experimenten met verschillende architecturen en verschillende opzoekmechanismen laten we consistente prestatieverbeteringen zien op een breed scala aan taken. Bovendien onthult onze analyse van de geleerde representatiedynamiek en onze verkenning van dieptewaartse circuits hoe LIMe informatie integreert over verschillende lagen, wat wijst op veelbelovende richtingen voor toekomstig onderzoek.

English

In contrast to RNNs, which compress previous tokens into a single hidden state, Transformers can attend to all previous tokens directly. However, standard Transformers only use representations from the immediately preceding layer. In this paper, we show that this design choice causes representation collapse and leads to suboptimal performance. To address this issue, we introduce Layer-Integrated Memory (LIMe), a simple yet powerful approach that preserves the model's overall memory footprint while expanding its representational capacity by allowing access to hidden states from earlier layers. Through extensive experiments across various architectures and different lookup mechanisms, we demonstrate consistent performance improvements on a wide range of tasks. Moreover, our analysis of the learned representation dynamics and our exploration of depthwise circuits reveal how LIMe integrates information across layers, pointing to promising directions for future research.