Блочно-параллельный трансформер для крупных моделей с длинным контекстом

Blockwise Parallel Transformer for Long Context Large Models

May 30, 2023

Авторы: Hao Liu, Pieter Abbeel

cs.AI

Аннотация

Трансформеры стали краеугольным камнем современных моделей обработки естественного языка, демонстрируя выдающуюся производительность в широком спектре задач искусственного интеллекта. Однако требования к памяти, обусловленные механизмом самовнимания и крупной полносвязной сетью в трансформерах, ограничивают их способность обрабатывать длинные последовательности, что создает трудности для задач, связанных с множеством длинных последовательностей или долгосрочными зависимостями. Мы представляем новый подход — Блочно-Параллельный Трансформер (BPT), который использует блочные вычисления для самовнимания и объединения полносвязной сети с целью минимизации затрат памяти. Обрабатывая более длинные входные последовательности при сохранении эффективности использования памяти, BPT позволяет обучать последовательности длиной до 32 раз больше, чем в классических трансформерах, и в 2–4 раза длиннее, чем в предыдущих методах, оптимизированных по памяти. Многочисленные эксперименты на задачах языкового моделирования и обучения с подкреплением подтверждают эффективность BPT в снижении требований к памяти и улучшении производительности.

English

Transformers have emerged as the cornerstone of state-of-the-art natural language processing models, showcasing exceptional performance across a wide range of AI applications. However, the memory demands posed by the self-attention mechanism and the large feedforward network in Transformers limit their ability to handle long sequences, thereby creating challenges for tasks involving multiple long sequences or long-term dependencies. We present a distinct approach, Blockwise Parallel Transformer (BPT), that leverages blockwise computation of self-attention and feedforward network fusion to minimize memory costs. By processing longer input sequences while maintaining memory efficiency, BPT enables training sequences up to 32 times longer than vanilla Transformers and 2 to 4 times longer than previous memory-efficient methods. Extensive experiments on language modeling and reinforcement learning tasks demonstrate the effectiveness of BPT in reducing memory requirements and improving performance.