Het Ontdekken van de Parels in Vroege Lagen: Het Versnellen van LLMs met Lange Contexten met een Input Token Reductie van 1000x

Discovering the Gems in Early Layers: Accelerating Long-Context LLMs with 1000x Input Token Reduction

September 25, 2024

Auteurs: Zhenmei Shi, Yifei Ming, Xuan-Phi Nguyen, Yingyu Liang, Shafiq Joty

cs.AI

Samenvatting

Grote Taalmodellen (LLM's) hebben opmerkelijke capaciteiten aangetoond in het verwerken van lange contextuele invoer, maar dit gaat gepaard met een toename van rekenkracht en latentie. Ons onderzoek introduceert een nieuw benadering voor het versnellen van LLM-inferentie en het verminderen van GPU-geheugenverbruik door de lange context bottleneck aan te pakken. Ons onderzoek toont aan dat LLM's relevante tokens kunnen identificeren in de vroege lagen voordat ze antwoorden op een query genereren. Door gebruik te maken van deze inzichten stellen we een algoritme voor dat de vroege lagen van een LLM gebruikt als filters om invoertokens te selecteren en comprimeren, waardoor de contextlengte aanzienlijk wordt verminderd voor verdere verwerking. Onze methode, GemFilter, toont aanzienlijke verbeteringen in zowel snelheid als geheugenefficiëntie in vergelijking met bestaande technieken, zoals standaard aandacht en SnapKV/H2O. Opmerkelijk is dat het een 2,4 keer snellere verwerkingssnelheid behaalt en 30% minder GPU-geheugen gebruikt in vergelijking met SOTA-methoden. Evaluatie van de Naald in een Hooiberg-taak toont aan dat GemFilter aanzienlijk beter presteert dan standaard aandacht, SnapKV en vergelijkbare prestaties levert op de LongBench-uitdaging. GemFilter is eenvoudig, vereist geen training en is breed toepasbaar op verschillende LLM's. Belangrijk is dat het interpretatie biedt door mensen in staat te stellen de geselecteerde invoersequentie te inspecteren. Deze bevindingen bieden niet alleen praktische voordelen voor de implementatie van LLM's, maar verbeteren ook ons begrip van de interne mechanismen van LLM's, waardoor verdere optimalisaties in LLM-ontwerp en inferentie mogelijk worden. Onze code is beschikbaar op https://github.com/SalesforceAIResearch/GemFilter.

English

Large Language Models (LLMs) have demonstrated remarkable capabilities in handling long context inputs, but this comes at the cost of increased computational resources and latency. Our research introduces a novel approach for the long context bottleneck to accelerate LLM inference and reduce GPU memory consumption. Our research demonstrates that LLMs can identify relevant tokens in the early layers before generating answers to a query. Leveraging this insight, we propose an algorithm that uses early layers of an LLM as filters to select and compress input tokens, significantly reducing the context length for subsequent processing. Our method, GemFilter, demonstrates substantial improvements in both speed and memory efficiency compared to existing techniques, such as standard attention and SnapKV/H2O. Notably, it achieves a 2.4times speedup and 30\% reduction in GPU memory usage compared to SOTA methods. Evaluation on the Needle in a Haystack task shows that GemFilter significantly outperforms standard attention, SnapKV and demonstrates comparable performance on the LongBench challenge. GemFilter is simple, training-free, and broadly applicable across different LLMs. Crucially, it provides interpretability by allowing humans to inspect the selected input sequence. These findings not only offer practical benefits for LLM deployment, but also enhance our understanding of LLM internal mechanisms, paving the way for further optimizations in LLM design and inference. Our code is available at https://github.com/SalesforceAIResearch/GemFilter.