Blokgewijs Parallelle Transformer voor Grote Modellen met Lange Context

Blockwise Parallel Transformer for Long Context Large Models

May 30, 2023

Auteurs: Hao Liu, Pieter Abbeel

cs.AI

Samenvatting

Transformers zijn uitgegroeid tot de hoeksteen van state-of-the-art modellen voor natuurlijke taalverwerking, waarbij ze uitzonderlijke prestaties laten zien in een breed scala aan AI-toepassingen. De geheugeneisen die worden gesteld door het self-attention-mechanisme en het grote feedforward-netwerk in Transformers beperken echter hun vermogen om lange sequenties te verwerken, wat uitdagingen creëert voor taken die meerdere lange sequenties of langetermijnafhankelijkheden omvatten. Wij presenteren een unieke aanpak, de Blockwise Parallel Transformer (BPT), die gebruikmaakt van bloksgewijze berekening van self-attention en de fusie van feedforward-netwerken om de geheugenkosten te minimaliseren. Door langere invoersequenties te verwerken terwijl de geheugenefficiëntie behouden blijft, maakt BPT het mogelijk om sequenties te trainen die tot 32 keer langer zijn dan bij standaard Transformers en 2 tot 4 keer langer dan bij eerdere geheugenefficiënte methoden. Uitgebreide experimenten op het gebied van taalmodellering en reinforcement learning taken demonstreren de effectiviteit van BPT in het verminderen van geheugeneisen en het verbeteren van prestaties.

English

Transformers have emerged as the cornerstone of state-of-the-art natural language processing models, showcasing exceptional performance across a wide range of AI applications. However, the memory demands posed by the self-attention mechanism and the large feedforward network in Transformers limit their ability to handle long sequences, thereby creating challenges for tasks involving multiple long sequences or long-term dependencies. We present a distinct approach, Blockwise Parallel Transformer (BPT), that leverages blockwise computation of self-attention and feedforward network fusion to minimize memory costs. By processing longer input sequences while maintaining memory efficiency, BPT enables training sequences up to 32 times longer than vanilla Transformers and 2 to 4 times longer than previous memory-efficient methods. Extensive experiments on language modeling and reinforcement learning tasks demonstrate the effectiveness of BPT in reducing memory requirements and improving performance.