Das Entdecken der Schätze in den frühen Schichten: Beschleunigung von Long-Context LLMs mit einer Reduzierung von 1000-fachen Eingabetokens.

Discovering the Gems in Early Layers: Accelerating Long-Context LLMs with 1000x Input Token Reduction

September 25, 2024

Autoren: Zhenmei Shi, Yifei Ming, Xuan-Phi Nguyen, Yingyu Liang, Shafiq Joty

cs.AI

Zusammenfassung

Große Sprachmodelle (LLMs) haben bemerkenswerte Fähigkeiten bei der Verarbeitung langer Kontexteingaben gezeigt, allerdings geht dies mit einem erhöhten Bedarf an Rechenressourcen und Latenz einher. Unsere Forschung stellt einen neuartigen Ansatz für das Problem des langen Kontexts vor, um die Inferenz von LLMs zu beschleunigen und den GPU-Speicherverbrauch zu reduzieren. Unsere Forschung zeigt, dass LLMs relevante Tokens in den frühen Schichten identifizieren können, bevor sie Antworten auf eine Abfrage generieren. Unter Nutzung dieses Erkenntnisses schlagen wir einen Algorithmus vor, der die frühen Schichten eines LLMs als Filter verwendet, um Eingabetokens auszuwählen und zu komprimieren, wodurch die Kontextlänge für die nachfolgende Verarbeitung signifikant reduziert wird. Unsere Methode, GemFilter, zeigt erhebliche Verbesserungen sowohl in Geschwindigkeit als auch Speichereffizienz im Vergleich zu bestehenden Techniken wie der Standard-Attention und SnapKV/H2O. Bemerkenswert ist, dass sie im Vergleich zu SOTA-Methoden eine 2,4-fache Beschleunigung und eine 30\%ige Reduzierung des GPU-Speicherverbrauchs erreicht. Die Evaluation anhand der Nadel-im-Heuhaufen-Aufgabe zeigt, dass GemFilter die Standard-Attention und SnapKV signifikant übertrifft und vergleichbare Leistungen bei der LongBench-Herausforderung zeigt. GemFilter ist einfach, erfordert kein Training und ist breit anwendbar für verschiedene LLMs. Entscheidend ist, dass es Interpretierbarkeit bietet, indem es Menschen ermöglicht, die ausgewählte Eingabesequenz zu überprüfen. Diese Ergebnisse bieten nicht nur praktische Vorteile für den Einsatz von LLMs, sondern verbessern auch unser Verständnis der internen Mechanismen von LLMs und ebnet den Weg für weitere Optimierungen im Design und der Inferenz von LLMs. Unser Code ist verfügbar unter https://github.com/SalesforceAIResearch/GemFilter.

English

Large Language Models (LLMs) have demonstrated remarkable capabilities in handling long context inputs, but this comes at the cost of increased computational resources and latency. Our research introduces a novel approach for the long context bottleneck to accelerate LLM inference and reduce GPU memory consumption. Our research demonstrates that LLMs can identify relevant tokens in the early layers before generating answers to a query. Leveraging this insight, we propose an algorithm that uses early layers of an LLM as filters to select and compress input tokens, significantly reducing the context length for subsequent processing. Our method, GemFilter, demonstrates substantial improvements in both speed and memory efficiency compared to existing techniques, such as standard attention and SnapKV/H2O. Notably, it achieves a 2.4times speedup and 30\% reduction in GPU memory usage compared to SOTA methods. Evaluation on the Needle in a Haystack task shows that GemFilter significantly outperforms standard attention, SnapKV and demonstrates comparable performance on the LongBench challenge. GemFilter is simple, training-free, and broadly applicable across different LLMs. Crucially, it provides interpretability by allowing humans to inspect the selected input sequence. These findings not only offer practical benefits for LLM deployment, but also enhance our understanding of LLM internal mechanisms, paving the way for further optimizations in LLM design and inference. Our code is available at https://github.com/SalesforceAIResearch/GemFilter.