LLaVA-Mini: Efficiënte Grote Multimodale Modellen voor Afbeeldingen en Video's met Slechts één Visie Token

LLaVA-Mini: Efficient Image and Video Large Multimodal Models with One Vision Token

January 7, 2025

Auteurs: Shaolei Zhang, Qingkai Fang, Zhe Yang, Yang Feng

cs.AI

Samenvatting

De opkomst van real-time grote multimodale modellen (LMM's) zoals GPT-4o heeft aanzienlijke interesse gewekt in efficiënte LMM's. LMM-frameworks coderen doorgaans visuele invoer in visuele tokens (continue representaties) en integreren deze en tekstuele instructies in de context van grote taalmodellen (LLM's), waarbij grootschalige parameters en talrijke contexttokens (voornamelijk visuele tokens) resulteren in aanzienlijke rekenkundige overhead. Eerdere inspanningen voor efficiënte LMM's richten zich altijd op het vervangen van de LLM-ruggengraat door kleinere modellen, terwijl ze het cruciale probleem van de hoeveelheid tokens verwaarlozen. In dit artikel introduceren we LLaVA-Mini, een efficiënte LMM met minimale visuele tokens. Om een hoge compressieverhouding van visuele tokens te bereiken en tegelijkertijd visuele informatie te behouden, analyseren we eerst hoe LMM's visuele tokens begrijpen en constateren we dat de meeste visuele tokens alleen een cruciale rol spelen in de vroege lagen van de LLM-ruggengraat, waar ze voornamelijk visuele informatie samenvoegen met teksttokens. Voortbouwend op deze bevinding introduceert LLaVA-Mini modaliteitsvoor-fusie om visuele informatie vooraf samen te voegen met teksttokens, waardoor de extreme compressie van visuele tokens die aan de LLM-ruggengraat worden gevoed tot één token wordt vergemakkelijkt. LLaVA-Mini is een verenigd groot multimodaal model dat het begrip van afbeeldingen, hoge-resolutieafbeeldingen en video's op een efficiënte manier kan ondersteunen. Experimenten over 11 op afbeeldingen gebaseerde en 7 op video gebaseerde benchmarks tonen aan dat LLaVA-Mini beter presteert dan LLaVA-v1.5 met slechts 1 visuele token in plaats van 576. Efficiëntieanalyses tonen aan dat LLaVA-Mini FLOP's met 77% kan verminderen, snelle reacties kan leveren binnen 40 milliseconden en meer dan 10.000 videoframes kan verwerken op de GPU-hardware met 24 GB geheugen.

English

The advent of real-time large multimodal models (LMMs) like GPT-4o has sparked considerable interest in efficient LMMs. LMM frameworks typically encode visual inputs into vision tokens (continuous representations) and integrate them and textual instructions into the context of large language models (LLMs), where large-scale parameters and numerous context tokens (predominantly vision tokens) result in substantial computational overhead. Previous efforts towards efficient LMMs always focus on replacing the LLM backbone with smaller models, while neglecting the crucial issue of token quantity. In this paper, we introduce LLaVA-Mini, an efficient LMM with minimal vision tokens. To achieve a high compression ratio of vision tokens while preserving visual information, we first analyze how LMMs understand vision tokens and find that most vision tokens only play a crucial role in the early layers of LLM backbone, where they mainly fuse visual information into text tokens. Building on this finding, LLaVA-Mini introduces modality pre-fusion to fuse visual information into text tokens in advance, thereby facilitating the extreme compression of vision tokens fed to LLM backbone into one token. LLaVA-Mini is a unified large multimodal model that can support the understanding of images, high-resolution images, and videos in an efficient manner. Experiments across 11 image-based and 7 video-based benchmarks demonstrate that LLaVA-Mini outperforms LLaVA-v1.5 with just 1 vision token instead of 576. Efficiency analyses reveal that LLaVA-Mini can reduce FLOPs by 77%, deliver low-latency responses within 40 milliseconds, and process over 10,000 frames of video on the GPU hardware with 24GB of memory.