RetroInfer: Ein Vektorspeicher-Ansatz für skalierbare Langkontext-LLM-Inferenz

RetroInfer: A Vector-Storage Approach for Scalable Long-Context LLM Inference

May 5, 2025

Autoren: Yaoqi Chen, Jinkai Zhang, Baotong Lu, Qianxi Zhang, Chengruidong Zhang, Jingjia Luo, Di Liu, Huiqiang Jiang, Qi Chen, Jing Liu, Bailu Ding, Xiao Yan, Jiawei Jiang, Chen Chen, Mingxing Zhang, Yuqing Yang, Fan Yang, Mao Yang

cs.AI

Zusammenfassung

Die zunehmenden Kontextlängen großer Sprachmodelle (LLMs) stellen erhebliche Herausforderungen für effizientes Inferencing dar, hauptsächlich aufgrund von GPU-Speicher- und Bandbreitenbeschränkungen. Wir präsentieren RetroInfer, ein neuartiges System, das den Schlüssel-Wert (KV)-Cache als ein Vektorspeichersystem neu konzipiert, das die inhärente Aufmerksamkeitssparsität nutzt, um die Inferenz von LLMs mit langem Kontext zu beschleunigen. Kernstück ist der Wave Index, ein Attention-aWare VEctor Index, der effiziente und präzise Abfragen kritischer Tokens durch Techniken wie tripartite Aufmerksamkeitsapproximation, genauigkeitsbegrenzte Aufmerksamkeitsschätzung und segmentierte Clusterbildung ermöglicht. Ergänzt wird dies durch den Wave Buffer, der die Platzierung des KV-Caches koordiniert und Berechnung und Datentransfer zwischen GPU und CPU überlappt, um einen hohen Durchsatz zu gewährleisten. Im Gegensatz zu früheren sparsitätsbasierten Methoden, die mit Token-Auswahl und Hardware-Koordination kämpfen, liefert RetroInfer robuste Leistungen, ohne die Modellgenauigkeit zu beeinträchtigen. Experimente auf Benchmarks mit langem Kontext zeigen eine Beschleunigung von bis zu 4,5X gegenüber vollständiger Aufmerksamkeit innerhalb der GPU-Speichergrenzen und bis zu 10,5X gegenüber sparsen Aufmerksamkeits-Baselines, wenn der KV-Cache auf den CPU-Speicher erweitert wird, wobei die Genauigkeit auf dem Niveau der vollständigen Aufmerksamkeit erhalten bleibt.

English

The growing context lengths of large language models (LLMs) pose significant challenges for efficient inference, primarily due to GPU memory and bandwidth constraints. We present RetroInfer, a novel system that reconceptualizes the key-value (KV) cache as a vector storage system which exploits the inherent attention sparsity to accelerate long-context LLM inference. At its core is the wave index, an Attention-aWare VEctor index that enables efficient and accurate retrieval of critical tokens through techniques such as tripartite attention approximation, accuracy-bounded attention estimation, and segmented clustering. Complementing this is the wave buffer, which coordinates KV cache placement and overlaps computation and data transfer across GPU and CPU to sustain high throughput. Unlike prior sparsity-based methods that struggle with token selection and hardware coordination, RetroInfer delivers robust performance without compromising model accuracy. Experiments on long-context benchmarks show up to 4.5X speedup over full attention within GPU memory limits and up to 10.5X over sparse attention baselines when KV cache is extended to CPU memory, all while preserving full-attention-level accuracy.