Transformador Paralelo por Bloques para Modelos Grandes de Contexto Largo

Blockwise Parallel Transformer for Long Context Large Models

May 30, 2023

Autores: Hao Liu, Pieter Abbeel

cs.AI

Resumen

Los Transformers han surgido como la piedra angular de los modelos de procesamiento de lenguaje natural más avanzados, mostrando un rendimiento excepcional en una amplia gama de aplicaciones de IA. Sin embargo, las demandas de memoria impuestas por el mecanismo de autoatención y la gran red feedforward en los Transformers limitan su capacidad para manejar secuencias largas, lo que crea desafíos para tareas que involucran múltiples secuencias largas o dependencias a largo plazo. Presentamos un enfoque distintivo, el Transformer de Paralelismo por Bloques (BPT), que aprovecha el cálculo por bloques de la autoatención y la fusión de la red feedforward para minimizar los costos de memoria. Al procesar secuencias de entrada más largas mientras se mantiene la eficiencia de memoria, BPT permite entrenar secuencias hasta 32 veces más largas que los Transformers convencionales y de 2 a 4 veces más largas que los métodos anteriores eficientes en memoria. Experimentos exhaustivos en tareas de modelado de lenguaje y aprendizaje por refuerzo demuestran la efectividad de BPT en la reducción de los requisitos de memoria y la mejora del rendimiento.

English

Transformers have emerged as the cornerstone of state-of-the-art natural language processing models, showcasing exceptional performance across a wide range of AI applications. However, the memory demands posed by the self-attention mechanism and the large feedforward network in Transformers limit their ability to handle long sequences, thereby creating challenges for tasks involving multiple long sequences or long-term dependencies. We present a distinct approach, Blockwise Parallel Transformer (BPT), that leverages blockwise computation of self-attention and feedforward network fusion to minimize memory costs. By processing longer input sequences while maintaining memory efficiency, BPT enables training sequences up to 32 times longer than vanilla Transformers and 2 to 4 times longer than previous memory-efficient methods. Extensive experiments on language modeling and reinforcement learning tasks demonstrate the effectiveness of BPT in reducing memory requirements and improving performance.