LLaVA-Mini: Modelos Multimodales Grandes Eficientes de Imagen y Video con un Token de Visión

LLaVA-Mini: Efficient Image and Video Large Multimodal Models with One Vision Token

January 7, 2025

Autores: Shaolei Zhang, Qingkai Fang, Zhe Yang, Yang Feng

cs.AI

Resumen

El surgimiento de modelos grandes multimodales en tiempo real (LMMs) como GPT-4o ha generado un considerable interés en LMMs eficientes. Los marcos de LMM típicamente codifican entradas visuales en tokens de visión (representaciones continuas) e integran estos con instrucciones textuales en el contexto de modelos de lenguaje grandes (LLMs), donde los parámetros a gran escala y numerosos tokens de contexto (predominantemente tokens de visión) resultan en una considerable carga computacional. Los esfuerzos previos hacia LMMs eficientes siempre se centran en reemplazar la estructura principal del LLM con modelos más pequeños, descuidando el tema crucial de la cantidad de tokens. En este artículo, presentamos LLaVA-Mini, un LMM eficiente con un mínimo de tokens de visión. Para lograr una alta relación de compresión de tokens de visión mientras se preserva la información visual, primero analizamos cómo los LMMs comprenden los tokens de visión y encontramos que la mayoría de los tokens de visión solo desempeñan un papel crucial en las capas iniciales de la estructura principal del LLM, donde principalmente fusionan información visual en tokens de texto. Basándonos en este hallazgo, LLaVA-Mini introduce la pre-fusión modalidad para fusionar la información visual en los tokens de texto de antemano, facilitando así la compresión extrema de los tokens de visión alimentados a la estructura principal del LLM en un solo token. LLaVA-Mini es un modelo multimodal grande unificado que puede soportar la comprensión de imágenes, imágenes de alta resolución y videos de manera eficiente. Experimentos en 11 evaluaciones basadas en imágenes y 7 basadas en videos demuestran que LLaVA-Mini supera a LLaVA-v1.5 con solo 1 token de visión en lugar de 576. Los análisis de eficiencia revelan que LLaVA-Mini puede reducir los FLOPs en un 77%, ofrecer respuestas de baja latencia en menos de 40 milisegundos y procesar más de 10,000 fotogramas de video en hardware GPU con 24GB de memoria.

English

The advent of real-time large multimodal models (LMMs) like GPT-4o has sparked considerable interest in efficient LMMs. LMM frameworks typically encode visual inputs into vision tokens (continuous representations) and integrate them and textual instructions into the context of large language models (LLMs), where large-scale parameters and numerous context tokens (predominantly vision tokens) result in substantial computational overhead. Previous efforts towards efficient LMMs always focus on replacing the LLM backbone with smaller models, while neglecting the crucial issue of token quantity. In this paper, we introduce LLaVA-Mini, an efficient LMM with minimal vision tokens. To achieve a high compression ratio of vision tokens while preserving visual information, we first analyze how LMMs understand vision tokens and find that most vision tokens only play a crucial role in the early layers of LLM backbone, where they mainly fuse visual information into text tokens. Building on this finding, LLaVA-Mini introduces modality pre-fusion to fuse visual information into text tokens in advance, thereby facilitating the extreme compression of vision tokens fed to LLM backbone into one token. LLaVA-Mini is a unified large multimodal model that can support the understanding of images, high-resolution images, and videos in an efficient manner. Experiments across 11 image-based and 7 video-based benchmarks demonstrate that LLaVA-Mini outperforms LLaVA-v1.5 with just 1 vision token instead of 576. Efficiency analyses reveal that LLaVA-Mini can reduce FLOPs by 77%, deliver low-latency responses within 40 milliseconds, and process over 10,000 frames of video on the GPU hardware with 24GB of memory.