LLaVA-Mini: Эффективные модели крупномасштабных мультимодальных изображений и видео с одним токеном видения

LLaVA-Mini: Efficient Image and Video Large Multimodal Models with One Vision Token

January 7, 2025

Авторы: Shaolei Zhang, Qingkai Fang, Zhe Yang, Yang Feng

cs.AI

Аннотация

Появление реального времени больших мультимодальных моделей (LMM), таких как GPT-4o, вызвало значительный интерес к эффективным LMM. Фреймворки LMM обычно кодируют визуальные входы в виде визуальных токенов (непрерывные представления) и интегрируют их и текстовые инструкции в контекст больших языковых моделей (LLM), где масштабные параметры и многочисленные контекстные токены (преимущественно визуальные токены) приводят к значительным вычислительным затратам. Предыдущие усилия по созданию эффективных LMM всегда сосредотачивались на замене основы LLM более маленькими моделями, пренебрегая при этом важным вопросом количества токенов. В данной статье мы представляем LLaVA-Mini, эффективную LMM с минимальным количеством визуальных токенов. Для достижения высокого коэффициента сжатия визуальных токенов при сохранении визуальной информации мы сначала анализируем, как LMM понимают визуальные токены, и обнаруживаем, что большинство визуальных токенов играют ключевую роль только в начальных слоях основы LLM, где они в основном объединяют визуальную информацию в текстовые токены. Основываясь на этом открытии, LLaVA-Mini вводит предварительное слияние модальности для объединения визуальной информации в текстовые токены заранее, тем самым облегчая экстремальное сжатие визуальных токенов, поступающих в основу LLM, в один токен. LLaVA-Mini является объединенной большой мультимодальной моделью, способной эффективно обрабатывать изображения, изображения высокого разрешения и видео. Эксперименты на 11 изображениях и 7 видео-бенчмарках показывают, что LLaVA-Mini превосходит LLaVA-v1.5, используя всего 1 визуальный токен вместо 576. Анализ эффективности показывает, что LLaVA-Mini может сократить количество операций с плавающей запятой на 77%, обеспечить низкую задержку в пределах 40 миллисекунд и обрабатывать более 10 000 кадров видео на графическом процессоре с 24 ГБ памяти.

English

The advent of real-time large multimodal models (LMMs) like GPT-4o has sparked considerable interest in efficient LMMs. LMM frameworks typically encode visual inputs into vision tokens (continuous representations) and integrate them and textual instructions into the context of large language models (LLMs), where large-scale parameters and numerous context tokens (predominantly vision tokens) result in substantial computational overhead. Previous efforts towards efficient LMMs always focus on replacing the LLM backbone with smaller models, while neglecting the crucial issue of token quantity. In this paper, we introduce LLaVA-Mini, an efficient LMM with minimal vision tokens. To achieve a high compression ratio of vision tokens while preserving visual information, we first analyze how LMMs understand vision tokens and find that most vision tokens only play a crucial role in the early layers of LLM backbone, where they mainly fuse visual information into text tokens. Building on this finding, LLaVA-Mini introduces modality pre-fusion to fuse visual information into text tokens in advance, thereby facilitating the extreme compression of vision tokens fed to LLM backbone into one token. LLaVA-Mini is a unified large multimodal model that can support the understanding of images, high-resolution images, and videos in an efficient manner. Experiments across 11 image-based and 7 video-based benchmarks demonstrate that LLaVA-Mini outperforms LLaVA-v1.5 with just 1 vision token instead of 576. Efficiency analyses reveal that LLaVA-Mini can reduce FLOPs by 77%, deliver low-latency responses within 40 milliseconds, and process over 10,000 frames of video on the GPU hardware with 24GB of memory.