Transformateur Parallèle par Blocs pour les Grands Modèles à Contexte Étendu

Blockwise Parallel Transformer for Long Context Large Models

May 30, 2023

Auteurs: Hao Liu, Pieter Abbeel

cs.AI

Résumé

Les Transformers sont devenus la pierre angulaire des modèles de traitement du langage naturel les plus avancés, démontrant des performances exceptionnelles dans un large éventail d'applications de l'IA. Cependant, les exigences en mémoire imposées par le mécanisme d'auto-attention et le grand réseau feedforward des Transformers limitent leur capacité à gérer des séquences longues, créant ainsi des défis pour les tâches impliquant plusieurs séquences longues ou des dépendances à long terme. Nous présentons une approche distincte, le Transformer Parallèle par Blocs (BPT), qui exploite le calcul par blocs de l'auto-attention et la fusion du réseau feedforward pour minimiser les coûts en mémoire. En traitant des séquences d'entrée plus longues tout en maintenant une efficacité mémoire, BPT permet d'entraîner des séquences jusqu'à 32 fois plus longues que les Transformers classiques et 2 à 4 fois plus longues que les méthodes précédentes optimisées en mémoire. Des expériences approfondies sur des tâches de modélisation du langage et d'apprentissage par renforcement démontrent l'efficacité de BPT à réduire les besoins en mémoire et à améliorer les performances.

English

Transformers have emerged as the cornerstone of state-of-the-art natural language processing models, showcasing exceptional performance across a wide range of AI applications. However, the memory demands posed by the self-attention mechanism and the large feedforward network in Transformers limit their ability to handle long sequences, thereby creating challenges for tasks involving multiple long sequences or long-term dependencies. We present a distinct approach, Blockwise Parallel Transformer (BPT), that leverages blockwise computation of self-attention and feedforward network fusion to minimize memory costs. By processing longer input sequences while maintaining memory efficiency, BPT enables training sequences up to 32 times longer than vanilla Transformers and 2 to 4 times longer than previous memory-efficient methods. Extensive experiments on language modeling and reinforcement learning tasks demonstrate the effectiveness of BPT in reducing memory requirements and improving performance.