La Frontiera Sparse: Compromessi dell'Attenzione Sparse nei Trasformatori LLM

The Sparse Frontier: Sparse Attention Trade-offs in Transformer LLMs

April 24, 2025

Autori: Piotr Nawrot, Robert Li, Renjie Huang, Sebastian Ruder, Kelly Marchisio, Edoardo M. Ponti

cs.AI

Abstract

L'attenzione sparsa rappresenta una strategia promettente per estendere le capacità di contesto lungo nei Transformer LLM, ma la sua fattibilità, i compromessi efficienza-precisione e gli studi sistematici di scalabilità rimangono inesplorati. Per colmare questa lacuna, effettuiamo un'attenta comparazione di metodi di attenzione sparsa senza addestramento a diverse scale di modelli, lunghezze di sequenza e livelli di sparsità su una raccolta diversificata di task a sequenza lunga, inclusi nuovi che si basano sul linguaggio naturale pur rimanendo controllabili e facili da valutare. Sulla base dei nostri esperimenti, riportiamo una serie di risultati chiave: 1) un'analisi isoFLOPS rivela che per sequenze molto lunghe, modelli più grandi e altamente sparsi sono preferibili a quelli più piccoli e densi. 2) Il livello di sparsità raggiungibile garantendo statisticamente la preservazione della precisione è più alto durante la decodifica rispetto al prefilling, e si correla con la dimensione del modello nel primo caso. 3) Non esiste una strategia chiara che performi al meglio su tutti i task e le fasi, con diverse unità di sparsificazione o adattività del budget necessarie per scenari differenti. Anche livelli moderati di sparsità spesso comportano un significativo degrado delle prestazioni su almeno un task, evidenziando che l'attenzione sparsa non è una soluzione universale. 4) Introduciamo e validiamo nuove leggi di scalabilità specificamente adattate per l'attenzione sparsa, fornendo prove che i nostri risultati probabilmente si estendono oltre il nostro ambito sperimentale. Attraverso queste intuizioni, dimostriamo che l'attenzione sparsa è uno strumento chiave per potenziare le capacità dei Transformer LLM nell'elaborazione di sequenze più lunghe, ma richiede una valutazione attenta dei compromessi per applicazioni sensibili alle prestazioni.

English

Sparse attention offers a promising strategy to extend long-context capabilities in Transformer LLMs, yet its viability, its efficiency-accuracy trade-offs, and systematic scaling studies remain unexplored. To address this gap, we perform a careful comparison of training-free sparse attention methods at varying model scales, sequence lengths, and sparsity levels on a diverse collection of long-sequence tasks-including novel ones that rely on natural language while remaining controllable and easy to evaluate. Based on our experiments, we report a series of key findings: 1) an isoFLOPS analysis reveals that for very long sequences, larger and highly sparse models are preferable to smaller and dense ones. 2) The level of sparsity attainable while statistically guaranteeing accuracy preservation is higher during decoding than prefilling, and correlates with model size in the former. 3) There is no clear strategy that performs best across tasks and phases, with different units of sparsification or budget adaptivity needed for different scenarios. Even moderate sparsity levels often result in significant performance degradation on at least one task, highlighting that sparse attention is not a universal solution. 4) We introduce and validate novel scaling laws specifically tailored for sparse attention, providing evidence that our findings are likely to hold true beyond our range of experiments. Through these insights, we demonstrate that sparse attention is a key tool to enhance the capabilities of Transformer LLMs for processing longer sequences, but requires careful evaluation of trade-offs for performance-sensitive applications.