InfiniteHiP: Het Uitbreiden van de Context van Taalmodel tot 3 Miljoen Tokens op een Enkele GPU

InfiniteHiP: Extending Language Model Context Up to 3 Million Tokens on a Single GPU

February 13, 2025

Auteurs: Heejun Lee, Geon Park, Jaduk Suh, Sung Ju Hwang

cs.AI

Samenvatting

Bij moderne grote taalmodellen (LLM's) vormt het omgaan met zeer lange contextlengtes aanzienlijke uitdagingen, omdat dit zorgt voor langzamere inferentiesnelheden en verhoogde geheugenkosten. Bovendien slagen de meeste bestaande voorgetrainde LLM's er niet in om verder te generaliseren dan hun oorspronkelijke trainingssequentielengtes. Om efficiënt en praktisch gebruik van lange context mogelijk te maken, introduceren we InfiniteHiP, een nieuw en praktisch LLM-inferentiekader dat de verwerking versnelt door dynamisch irrelevante contexttokens te elimineren via een modulair hiërarchisch token-snoeialgoritme. Onze methode maakt ook generalisatie naar langere sequenties mogelijk door selectief verschillende RoPE-aanpassingsmethoden toe te passen op basis van de interne aandachtspatronen binnen LLM's. Bovendien verplaatsen we de key-value-cache naar het hostgeheugen tijdens inferentie, waardoor de druk op het GPU-geheugen aanzienlijk wordt verminderd. Als gevolg hiervan maakt InfiniteHiP de verwerking van maximaal 3 miljoen tokens mogelijk op een enkele L40s 48GB GPU - 3x groter - zonder enig permanent verlies van contextinformatie. Ons kader bereikt een 18,95x versnelling in aandachtdecodering voor een context van 1 miljoen tokens zonder extra training te vereisen. We implementeren onze methode in het SGLang-kader en tonen de effectiviteit en praktische toepasbaarheid ervan aan via uitgebreide evaluaties.

English

In modern large language models (LLMs), handling very long context lengths presents significant challenges as it causes slower inference speeds and increased memory costs. Additionally, most existing pre-trained LLMs fail to generalize beyond their original training sequence lengths. To enable efficient and practical long-context utilization, we introduce InfiniteHiP, a novel, and practical LLM inference framework that accelerates processing by dynamically eliminating irrelevant context tokens through a modular hierarchical token pruning algorithm. Our method also allows generalization to longer sequences by selectively applying various RoPE adjustment methods according to the internal attention patterns within LLMs. Furthermore, we offload the key-value cache to host memory during inference, significantly reducing GPU memory pressure. As a result, InfiniteHiP enables the processing of up to 3 million tokens on a single L40s 48GB GPU -- 3x larger -- without any permanent loss of context information. Our framework achieves an 18.95x speedup in attention decoding for a 1 million token context without requiring additional training. We implement our method in the SGLang framework and demonstrate its effectiveness and practicality through extensive evaluations.