RetroInfer: Un Approccio Basato su Archiviazione Vettoriale per Inferenza Scalabile di LLM con Contesti Lunghi

RetroInfer: A Vector-Storage Approach for Scalable Long-Context LLM Inference

May 5, 2025

Autori: Yaoqi Chen, Jinkai Zhang, Baotong Lu, Qianxi Zhang, Chengruidong Zhang, Jingjia Luo, Di Liu, Huiqiang Jiang, Qi Chen, Jing Liu, Bailu Ding, Xiao Yan, Jiawei Jiang, Chen Chen, Mingxing Zhang, Yuqing Yang, Fan Yang, Mao Yang

cs.AI

Abstract

Le crescenti lunghezze contestuali dei grandi modelli linguistici (LLM) pongono sfide significative per un'inferenza efficiente, principalmente a causa dei vincoli di memoria GPU e larghezza di banda. Presentiamo RetroInfer, un sistema innovativo che riconcettualizza la cache chiave-valore (KV) come un sistema di archiviazione vettoriale che sfrutta la sparsità intrinseca dell'attenzione per accelerare l'inferenza di LLM con contesti lunghi. Al suo cuore si trova l'indice wave, un indice vettoriale consapevole dell'attenzione (Attention-aWare VEctor index) che abilita un recupero efficiente e accurato dei token critici attraverso tecniche come l'approssimazione tripartita dell'attenzione, la stima dell'attenzione con limite di accuratezza e il clustering segmentato. A completare il sistema c'è il buffer wave, che coordina il posizionamento della cache KV e sovrappone il calcolo e il trasferimento dati tra GPU e CPU per mantenere un'elevata produttività. A differenza dei metodi basati sulla sparsità precedenti, che faticano con la selezione dei token e la coordinazione hardware, RetroInfer offre prestazioni robuste senza compromettere l'accuratezza del modello. Esperimenti su benchmark a contesto lungo mostrano un'accelerazione fino a 4,5 volte rispetto all'attenzione completa entro i limiti di memoria GPU e fino a 10,5 volte rispetto alle baseline di attenzione sparsa quando la cache KV viene estesa alla memoria CPU, mantenendo comunque un'accuratezza pari a quella dell'attenzione completa.

English

The growing context lengths of large language models (LLMs) pose significant challenges for efficient inference, primarily due to GPU memory and bandwidth constraints. We present RetroInfer, a novel system that reconceptualizes the key-value (KV) cache as a vector storage system which exploits the inherent attention sparsity to accelerate long-context LLM inference. At its core is the wave index, an Attention-aWare VEctor index that enables efficient and accurate retrieval of critical tokens through techniques such as tripartite attention approximation, accuracy-bounded attention estimation, and segmented clustering. Complementing this is the wave buffer, which coordinates KV cache placement and overlaps computation and data transfer across GPU and CPU to sustain high throughput. Unlike prior sparsity-based methods that struggle with token selection and hardware coordination, RetroInfer delivers robust performance without compromising model accuracy. Experiments on long-context benchmarks show up to 4.5X speedup over full attention within GPU memory limits and up to 10.5X over sparse attention baselines when KV cache is extended to CPU memory, all while preserving full-attention-level accuracy.