О Спекулятивном декодировании для мультимодальных больших языковых моделей

On Speculative Decoding for Multimodal Large Language Models

April 13, 2024

Авторы: Mukul Gagrani, Raghavv Goel, Wonseok Jeon, Junyoung Park, Mingu Lee, Christopher Lott

cs.AI

Аннотация

Вывод с мультимодальными большими языковыми моделями (MLLM) медленный из-за их основы на большой языковой модели, страдающей от узкого места памяти и генерации токенов авторегрессивно. В данной статье мы исследуем применение спекулятивного декодирования для повышения эффективности вывода MLLM, в частности модели LLaVA 7B. Мы показываем, что модель только с языковой информацией может служить хорошей черновой моделью для спекулятивного декодирования с LLaVA 7B, обходя необходимость в изображениях токенов и связанных с ними компонентах обработки из черновой модели. Наши эксперименты по трем различным задачам показывают, что спекулятивное декодирование может достичь ускорения, ограниченного памятью, до 2,37 раза с использованием 115M параметров языковой модели, которую мы обучили с нуля. Кроме того, мы представляем компактную черновую модель LLaVA с включенным адаптером изображения, которая показывает незначительный прирост производительности в подписывании изображений, сохраняя при этом сопоставимые результаты в других задачах.

English

Inference with Multimodal Large Language Models (MLLMs) is slow due to their large-language-model backbone which suffers from memory bandwidth bottleneck and generates tokens auto-regressively. In this paper, we explore the application of speculative decoding to enhance the inference efficiency of MLLMs, specifically the LLaVA 7B model. We show that a language-only model can serve as a good draft model for speculative decoding with LLaVA 7B, bypassing the need for image tokens and their associated processing components from the draft model. Our experiments across three different tasks show that speculative decoding can achieve a memory-bound speedup of up to 2.37times using a 115M parameter language model that we trained from scratch. Additionally, we introduce a compact LLaVA draft model incorporating an image adapter, which shows marginal performance gains in image captioning while maintaining comparable results in other tasks.