Blockweise paralleler Transformer für große Modelle mit langem Kontext

Blockwise Parallel Transformer for Long Context Large Models

May 30, 2023

Autoren: Hao Liu, Pieter Abbeel

cs.AI

Zusammenfassung

Transformer haben sich als Eckpfeiler modernster Modelle der natürlichen Sprachverarbeitung etabliert und zeigen außergewöhnliche Leistungen in einer Vielzahl von KI-Anwendungen. Die Speicheranforderungen, die durch den Selbstaufmerksamkeitsmechanismus und das große Feedforward-Netzwerk in Transformern entstehen, begrenzen jedoch ihre Fähigkeit, lange Sequenzen zu verarbeiten, was Herausforderungen bei Aufgaben mit mehreren langen Sequenzen oder langfristigen Abhängigkeiten schafft. Wir stellen einen innovativen Ansatz vor, den Blockweise Parallelen Transformer (BPT), der die blockweise Berechnung der Selbstaufmerksamkeit und die Fusion des Feedforward-Netzwerks nutzt, um die Speicherkosten zu minimieren. Durch die Verarbeitung längerer Eingabesequenzen bei gleichzeitiger Beibehaltung der Speichereffizienz ermöglicht BPT die Verarbeitung von Trainingssequenzen, die bis zu 32-mal länger sind als bei herkömmlichen Transformern und 2 bis 4-mal länger als bei bisherigen speichereffizienten Methoden. Umfangreiche Experimente zu Sprachmodellierungs- und Reinforcement-Learning-Aufgaben demonstrieren die Wirksamkeit von BPT bei der Reduzierung der Speicheranforderungen und der Verbesserung der Leistung.

English

Transformers have emerged as the cornerstone of state-of-the-art natural language processing models, showcasing exceptional performance across a wide range of AI applications. However, the memory demands posed by the self-attention mechanism and the large feedforward network in Transformers limit their ability to handle long sequences, thereby creating challenges for tasks involving multiple long sequences or long-term dependencies. We present a distinct approach, Blockwise Parallel Transformer (BPT), that leverages blockwise computation of self-attention and feedforward network fusion to minimize memory costs. By processing longer input sequences while maintaining memory efficiency, BPT enables training sequences up to 32 times longer than vanilla Transformers and 2 to 4 times longer than previous memory-efficient methods. Extensive experiments on language modeling and reinforcement learning tasks demonstrate the effectiveness of BPT in reducing memory requirements and improving performance.