Transformador Paralelo em Blocos para Modelos de Grande Escala com Contexto Longo

Blockwise Parallel Transformer for Long Context Large Models

May 30, 2023

Autores: Hao Liu, Pieter Abbeel

cs.AI

Resumo

Os Transformers emergiram como a pedra angular dos modelos de última geração em processamento de linguagem natural, demonstrando desempenho excepcional em uma ampla gama de aplicações de IA. No entanto, as demandas de memória impostas pelo mecanismo de autoatenção e pela grande rede feedforward nos Transformers limitam sua capacidade de lidar com sequências longas, criando desafios para tarefas que envolvem múltiplas sequências longas ou dependências de longo prazo. Apresentamos uma abordagem distinta, o Transformer Paralelo por Blocos (BPT), que aproveita o cálculo em blocos da autoatenção e a fusão da rede feedforward para minimizar os custos de memória. Ao processar sequências de entrada mais longas enquanto mantém a eficiência de memória, o BPT permite treinar sequências até 32 vezes mais longas do que os Transformers convencionais e de 2 a 4 vezes mais longas do que métodos anteriores eficientes em memória. Experimentos extensivos em modelagem de linguagem e tarefas de aprendizado por reforço demonstram a eficácia do BPT na redução de requisitos de memória e na melhoria de desempenho.

English

Transformers have emerged as the cornerstone of state-of-the-art natural language processing models, showcasing exceptional performance across a wide range of AI applications. However, the memory demands posed by the self-attention mechanism and the large feedforward network in Transformers limit their ability to handle long sequences, thereby creating challenges for tasks involving multiple long sequences or long-term dependencies. We present a distinct approach, Blockwise Parallel Transformer (BPT), that leverages blockwise computation of self-attention and feedforward network fusion to minimize memory costs. By processing longer input sequences while maintaining memory efficiency, BPT enables training sequences up to 32 times longer than vanilla Transformers and 2 to 4 times longer than previous memory-efficient methods. Extensive experiments on language modeling and reinforcement learning tasks demonstrate the effectiveness of BPT in reducing memory requirements and improving performance.