LLaVA-Mini: Effiziente Bild- und Video-Große Multimodale Modelle mit einem Vision-Token

LLaVA-Mini: Efficient Image and Video Large Multimodal Models with One Vision Token

January 7, 2025

Autoren: Shaolei Zhang, Qingkai Fang, Zhe Yang, Yang Feng

cs.AI

Zusammenfassung

Das Aufkommen von Echtzeit-großen multimodalen Modellen (LMMs) wie GPT-4o hat ein erhebliches Interesse an effizienten LMMs geweckt. LMM-Frameworks kodieren in der Regel visuelle Eingaben in Visionstoken (kontinuierliche Repräsentationen) und integrieren sie sowie textuelle Anweisungen in den Kontext großer Sprachmodelle (LLMs), wobei groß angelegte Parameter und zahlreiche Kontexttoken (hauptsächlich Visionstoken) zu erheblichem Rechenaufwand führen. Frühere Bemühungen zur Effizienzsteigerung von LMMs konzentrieren sich immer darauf, das LLM-Grundgerüst durch kleinere Modelle zu ersetzen, wobei das entscheidende Problem der Token-Menge vernachlässigt wird. In diesem Artikel stellen wir LLaVA-Mini vor, ein effizientes LMM mit minimalen Visionstoken. Um ein hohes Kompressionsverhältnis von Visionstoken zu erreichen und gleichzeitig visuelle Informationen zu bewahren, analysieren wir zunächst, wie LMMs Visionstoken verstehen, und stellen fest, dass die meisten Visionstoken nur in den frühen Schichten des LLM-Grundgerüsts eine entscheidende Rolle spielen, wo sie hauptsächlich visuelle Informationen in Texttoken integrieren. Aufbauend auf dieser Erkenntnis führt LLaVA-Mini eine Modalitäts-Vorfusion ein, um visuelle Informationen im Voraus in Texttoken zu integrieren und so die extrem starke Kompression der Visionstoken zu erleichtern, die dem LLM-Grundgerüst zugeführt werden, auf ein Token. LLaVA-Mini ist ein vereinheitlichtes großes multimodales Modell, das die Verarbeitung von Bildern, hochauflösenden Bildern und Videos auf effiziente Weise unterstützen kann. Experimente über 11 bildbasierte und 7 videobasierte Benchmarks zeigen, dass LLaVA-Mini LLaVA-v1.5 übertrifft, indem es nur 1 Visionstoken anstelle von 576 verwendet. Effizienzanalysen zeigen, dass LLaVA-Mini die FLOPs um 77 % reduzieren kann, schnelle Reaktionen innerhalb von 40 Millisekunden liefert und über 10.000 Videoframes auf der GPU-Hardware mit 24 GB Speicher verarbeiten kann.

English

The advent of real-time large multimodal models (LMMs) like GPT-4o has sparked considerable interest in efficient LMMs. LMM frameworks typically encode visual inputs into vision tokens (continuous representations) and integrate them and textual instructions into the context of large language models (LLMs), where large-scale parameters and numerous context tokens (predominantly vision tokens) result in substantial computational overhead. Previous efforts towards efficient LMMs always focus on replacing the LLM backbone with smaller models, while neglecting the crucial issue of token quantity. In this paper, we introduce LLaVA-Mini, an efficient LMM with minimal vision tokens. To achieve a high compression ratio of vision tokens while preserving visual information, we first analyze how LMMs understand vision tokens and find that most vision tokens only play a crucial role in the early layers of LLM backbone, where they mainly fuse visual information into text tokens. Building on this finding, LLaVA-Mini introduces modality pre-fusion to fuse visual information into text tokens in advance, thereby facilitating the extreme compression of vision tokens fed to LLM backbone into one token. LLaVA-Mini is a unified large multimodal model that can support the understanding of images, high-resolution images, and videos in an efficient manner. Experiments across 11 image-based and 7 video-based benchmarks demonstrate that LLaVA-Mini outperforms LLaVA-v1.5 with just 1 vision token instead of 576. Efficiency analyses reveal that LLaVA-Mini can reduce FLOPs by 77%, deliver low-latency responses within 40 milliseconds, and process over 10,000 frames of video on the GPU hardware with 24GB of memory.