Inferenza Efficiente di Modelli di Visione per il Seguimento di Istruzioni con Cache Elastica

Efficient Inference of Vision Instruction-Following Models with Elastic Cache

July 25, 2024

Autori: Zuyan Liu, Benlin Liu, Jiahui Wang, Yuhao Dong, Guangyi Chen, Yongming Rao, Ranjay Krishna, Jiwen Lu

cs.AI

Abstract

Nel campo dei grandi modelli visione-linguaggio (LVLM) che seguono istruzioni, l'implementazione efficiente di questi modelli affronta sfide significative, principalmente a causa degli elevati requisiti di memoria delle loro cache chiave-valore (KV). Le strategie convenzionali di gestione della cache per i modelli linguistici di grandi dimensioni (LLM) si concentrano sull'evizione della cache, che spesso non riesce a soddisfare le esigenze specifiche dei modelli multimodali che seguono istruzioni. Riconoscendo questa lacuna, in questo articolo introduciamo Elastic Cache, un approccio innovativo che beneficia dell'applicazione di metodi di accelerazione distinti per le fasi di codifica delle istruzioni e generazione dell'output. Esploriamo le metriche di importanza nelle diverse fasi e proponiamo una strategia di fusione della cache guidata dall'importanza per eliminare le ridondanze. Invece di scartare le cache meno importanti, la nostra strategia identifica i vettori chiave/valore importanti come punti di ancoraggio. Le cache meno importanti circostanti vengono quindi fuse con questi ancoraggi, migliorando la conservazione delle informazioni contestuali nelle cache KV e ottenendo un rapporto di accelerazione arbitrario. Per la codifica delle istruzioni, utilizziamo la frequenza per valutare l'importanza delle cache. Per quanto riguarda la generazione dell'output, diamo priorità ai token in base alla loro distanza con un offset, mantenendo sia i token iniziali che quelli più recenti. I risultati su una gamma di LVLM dimostrano che Elastic Cache non solo aumenta l'efficienza, ma supera anche notevolmente i metodi di pruning esistenti nella generazione del linguaggio in vari compiti. Il codice è disponibile all'indirizzo https://github.com/liuzuyan/ElasticCache.

English

In the field of instruction-following large vision-language models (LVLMs), the efficient deployment of these models faces challenges, notably due to the high memory demands of their key-value (KV) caches. Conventional cache management strategies for LLMs focus on cache eviction, which often fails to address the specific needs of multimodal instruction-following models. Recognizing this gap, in this paper, we introduce Elastic Cache, a novel approach that benefits from applying distinct acceleration methods for instruction encoding and output generation stages. We investigate the metrics of importance in different stages and propose an importance-driven cache merging strategy to prune redundancy caches. Instead of discarding less important caches, our strategy identifies important key/value vectors as anchor points. Surrounding less important caches are then merged with these anchors, enhancing the preservation of contextual information in the KV caches while yielding an arbitrary acceleration ratio. For instruction encoding, we utilize the frequency to evaluate the importance of caches. Regarding output generation, we prioritize tokens based on their distance with an offset, by which both the initial and most recent tokens are retained. Results on a range of LVLMs demonstrate that Elastic Cache not only boosts efficiency but also notably outperforms existing pruning methods in language generation across various tasks. Code is available at https://github.com/liuzuyan/ElasticCache