MoA: Mistura de Atenção Esparsa para Compressão Automática de Modelos de Linguagem Grandes

Resumo

A atenção esparsa pode efetivamente mitigar as significativas demandas de memória e throughput dos Modelos de Linguagem Grandes (LLMs) em contextos longos. Métodos existentes geralmente empregam uma máscara de atenção esparsa uniforme, aplicando o mesmo padrão esparsa em diferentes cabeças de atenção e comprimentos de entrada. No entanto, essa abordagem uniforme falha em capturar os diversos padrões de atenção inerentes aos LLMs, ignorando suas distintas compensações entre precisão e latência. Para enfrentar esse desafio, propomos o Modelo de Atenção Mista (MoA), que ajusta automaticamente configurações distintas de atenção esparsa para diferentes cabeças e camadas. O MoA constrói e navega em um espaço de busca de vários padrões de atenção e suas regras de dimensionamento em relação aos comprimentos das sequências de entrada. Ele perfila o modelo, avalia configurações potenciais e identifica o plano ótimo de compressão de atenção esparsa. O MoA se adapta a tamanhos de entrada variáveis, revelando que algumas cabeças de atenção expandem seu foco para acomodar sequências mais longas, enquanto outras cabeças concentram consistentemente em contextos locais de comprimento fixo. Experimentos mostram que o MoA aumenta o comprimento efetivo do contexto em 3,9 vezes com a mesma extensão média de atenção, aumentando a precisão de recuperação em 1,5-7,1 vezes em relação à linha de base de atenção uniforme nos modelos Vicuna-7B, Vicuna-13B e Llama3-8B. Além disso, o MoA reduz as lacunas de capacidade entre modelos esparsos e densos, reduzindo a queda máxima de desempenho relativo de 9%-36% para dentro de 5% em dois benchmarks de compreensão de contextos longos. O MoA alcança uma redução de memória GPU de 1,2-1,4 vezes e aumenta o throughput de decodificação em 5,5-6,7 vezes para os modelos densos 7B e 13B em uma única GPU, com impacto mínimo no desempenho.

English

Sparse attention can effectively mitigate the significant memory and throughput demands of Large Language Models (LLMs) in long contexts. Existing methods typically employ a uniform sparse attention mask, applying the same sparse pattern across different attention heads and input lengths. However, this uniform approach fails to capture the diverse attention patterns inherent in LLMs, ignoring their distinct accuracy-latency trade-offs. To address this challenge, we propose the Mixture of Attention (MoA), which automatically tailors distinct sparse attention configurations to different heads and layers. MoA constructs and navigates a search space of various attention patterns and their scaling rules relative to input sequence lengths. It profiles the model, evaluates potential configurations, and pinpoints the optimal sparse attention compression plan. MoA adapts to varying input sizes, revealing that some attention heads expand their focus to accommodate longer sequences, while other heads consistently concentrate on fixed-length local contexts. Experiments show that MoA increases the effective context length by 3.9times with the same average attention span, boosting retrieval accuracy by 1.5-7.1times over the uniform-attention baseline across Vicuna-7B, Vicuna-13B, and Llama3-8B models. Moreover, MoA narrows the capability gaps between sparse and dense models, reducing the maximum relative performance drop from 9%-36% to within 5% across two long-context understanding benchmarks. MoA achieves a 1.2-1.4times GPU memory reduction and boosts decode throughput by 5.5-6.7 times for 7B and 13B dense models on a single GPU, with minimal impact on performance.

MoA: Mistura de Atenção Esparsa para Compressão Automática de Modelos de Linguagem Grandes

MoA: Mixture of Sparse Attention for Automatic Large Language Model Compression

Resumo

Support