Su Decodifica Speculativa per Modelli Linguistici Multimodali di Grande Scala
On Speculative Decoding for Multimodal Large Language Models
April 13, 2024
Autori: Mukul Gagrani, Raghavv Goel, Wonseok Jeon, Junyoung Park, Mingu Lee, Christopher Lott
cs.AI
Abstract
L'inferenza con Modelli Linguistici Multimodali di Grande Dimensione (MLLMs) è lenta a causa del loro backbone di modello linguistico di grandi dimensioni, che soffre di un collo di bottiglia nella larghezza di banda della memoria e genera token in modo autoregressivo. In questo articolo, esploriamo l'applicazione del decoding speculativo per migliorare l'efficienza dell'inferenza degli MLLMs, in particolare del modello LLaVA 7B. Dimostriamo che un modello linguistico puro può servire come un buon modello di bozza per il decoding speculativo con LLaVA 7B, aggirando la necessità di token di immagine e dei relativi componenti di elaborazione nel modello di bozza. I nostri esperimenti su tre diversi task mostrano che il decoding speculativo può ottenere un'accelerazione legata alla memoria fino a 2,37 volte utilizzando un modello linguistico da 115M di parametri che abbiamo addestrato da zero. Inoltre, introduciamo un modello di bozza compatto per LLaVA che incorpora un adattatore per le immagini, il quale mostra miglioramenti marginali nelle prestazioni per la descrizione delle immagini mantenendo risultati comparabili negli altri task.
English
Inference with Multimodal Large Language Models (MLLMs) is slow due to their
large-language-model backbone which suffers from memory bandwidth bottleneck
and generates tokens auto-regressively. In this paper, we explore the
application of speculative decoding to enhance the inference efficiency of
MLLMs, specifically the LLaVA 7B model. We show that a language-only model can
serve as a good draft model for speculative decoding with LLaVA 7B, bypassing
the need for image tokens and their associated processing components from the
draft model. Our experiments across three different tasks show that speculative
decoding can achieve a memory-bound speedup of up to 2.37times using a 115M
parameter language model that we trained from scratch. Additionally, we
introduce a compact LLaVA draft model incorporating an image adapter, which
shows marginal performance gains in image captioning while maintaining
comparable results in other tasks.