Differentiaaltransformator

Differential Transformer

October 7, 2024

Auteurs: Tianzhu Ye, Li Dong, Yuqing Xia, Yutao Sun, Yi Zhu, Gao Huang, Furu Wei

cs.AI

Samenvatting

De Transformer heeft de neiging om te veel aandacht te besteden aan irrelevante context. In dit werk introduceren we de Diff Transformer, die de aandacht voor relevante context versterkt en ruis elimineert. Specifiek berekent het differentiële aandachtsmechanisme aandachtsscores als het verschil tussen twee afzonderlijke softmax-aandachtskaarten. De aftrekking elimineert ruis en bevordert het ontstaan van spaarzame aandachtspatronen. Experimentele resultaten op het gebied van taalmodellering tonen aan dat de Diff Transformer beter presteert dan de Transformer in verschillende instellingen van het vergroten van de modelgrootte en het trainen van tokens. Nog intrigerender is dat het opmerkelijke voordelen biedt in praktische toepassingen, zoals modellering van lange context, ophalen van belangrijke informatie, het verminderen van hallucinaties, leren in context en het verminderen van activatie-uitschieters. Door minder afgeleid te worden door irrelevante context kan de Diff Transformer hallucinaties verminderen bij vraag-antwoordtaken en tekstsamenvattingen. Voor leren in context verbetert de Diff Transformer niet alleen de nauwkeurigheid, maar is ook robuuster tegen volgordepermutatie, wat werd beschouwd als een chronisch robuustheidsprobleem. De resultaten positioneren de Diff Transformer als een zeer effectieve en veelbelovende architectuur om grote taalmodellen verder te ontwikkelen.

English

Transformer tends to overallocate attention to irrelevant context. In this work, we introduce Diff Transformer, which amplifies attention to the relevant context while canceling noise. Specifically, the differential attention mechanism calculates attention scores as the difference between two separate softmax attention maps. The subtraction cancels noise, promoting the emergence of sparse attention patterns. Experimental results on language modeling show that Diff Transformer outperforms Transformer in various settings of scaling up model size and training tokens. More intriguingly, it offers notable advantages in practical applications, such as long-context modeling, key information retrieval, hallucination mitigation, in-context learning, and reduction of activation outliers. By being less distracted by irrelevant context, Diff Transformer can mitigate hallucination in question answering and text summarization. For in-context learning, Diff Transformer not only enhances accuracy but is also more robust to order permutation, which was considered as a chronic robustness issue. The results position Diff Transformer as a highly effective and promising architecture to advance large language models.