InfiniteHiP: Erweiterung des Sprachmodellkontexts auf bis zu 3 Millionen Token auf einer einzigen GPU

InfiniteHiP: Extending Language Model Context Up to 3 Million Tokens on a Single GPU

February 13, 2025

Autoren: Heejun Lee, Geon Park, Jaduk Suh, Sung Ju Hwang

cs.AI

Zusammenfassung

In modernen großen Sprachmodellen (LLMs) stellen sehr lange Kontextlängen erhebliche Herausforderungen dar, da sie langsamere Inferenzgeschwindigkeiten und erhöhte Speicherkosten verursachen. Darüber hinaus gelingt es den meisten bestehenden vorab trainierten LLMs nicht, über ihre ursprünglichen Trainingssequenzlängen hinaus zu generalisieren. Um eine effiziente und praktische Nutzung von langem Kontext zu ermöglichen, stellen wir InfiniteHiP vor, ein neuartiges und praktisches LLM-Inferenzframework, das die Verarbeitung beschleunigt, indem irrelevante Kontext-Token dynamisch durch einen modularen hierarchischen Token-Pruning-Algorithmus eliminiert werden. Unsere Methode ermöglicht auch die Generalisierung auf längere Sequenzen, indem verschiedene RoPE-Anpassungsmethoden selektiv entsprechend den internen Aufmerksamkeitsmustern innerhalb von LLMs angewendet werden. Darüber hinaus lagern wir den Key-Value-Cache während der Inferenz in den Host-Speicher aus, was den Speicherdruck auf der GPU erheblich reduziert. Als Ergebnis ermöglicht InfiniteHiP die Verarbeitung von bis zu 3 Millionen Tokens auf einer einzelnen L40s 48GB GPU - 3x größer - ohne dauerhaften Verlust von Kontextinformationen. Unser Framework erzielt eine 18,95-fache Beschleunigung beim Aufmerksamkeitsdecodieren für einen Kontext von 1 Million Tokens, ohne zusätzliches Training zu erfordern. Wir implementieren unsere Methode im SGLang-Framework und zeigen deren Wirksamkeit und Praktikabilität durch umfangreiche Evaluationen.

English

In modern large language models (LLMs), handling very long context lengths presents significant challenges as it causes slower inference speeds and increased memory costs. Additionally, most existing pre-trained LLMs fail to generalize beyond their original training sequence lengths. To enable efficient and practical long-context utilization, we introduce InfiniteHiP, a novel, and practical LLM inference framework that accelerates processing by dynamically eliminating irrelevant context tokens through a modular hierarchical token pruning algorithm. Our method also allows generalization to longer sequences by selectively applying various RoPE adjustment methods according to the internal attention patterns within LLMs. Furthermore, we offload the key-value cache to host memory during inference, significantly reducing GPU memory pressure. As a result, InfiniteHiP enables the processing of up to 3 million tokens on a single L40s 48GB GPU -- 3x larger -- without any permanent loss of context information. Our framework achieves an 18.95x speedup in attention decoding for a 1 million token context without requiring additional training. We implement our method in the SGLang framework and demonstrate its effectiveness and practicality through extensive evaluations.