TokenPacker: Efficiënte Visuele Projector voor Multimodale LLM

TokenPacker: Efficient Visual Projector for Multimodal LLM

July 2, 2024

Auteurs: Wentong Li, Yuqian Yuan, Jian Liu, Dongqi Tang, Song Wang, Jianke Zhu, Lei Zhang

cs.AI

Samenvatting

De visuele projector fungeert als een essentiële brug tussen de visuele encoder en het Large Language Model (LLM) in een Multimodaal LLM (MLLM). Typisch gebruiken MLLM's een eenvoudig MLP om alle visuele contexten te behouden via een één-op-één transformatie. Echter, de visuele tokens zijn redundant en kunnen aanzienlijk toenemen bij het verwerken van afbeeldingen met hoge resolutie, wat de efficiëntie van MLLM's aanzienlijk aantast. Sommige recente werken hebben een resampler of abstractor geïntroduceerd om het aantal resulterende visuele tokens te verminderen. Helaas slagen zij er niet in om fijnere details vast te leggen en ondermijnen zij de visuele redeneervaardigheden van MLLM's. In dit werk stellen we een nieuwe visuele projector voor, die een grof-naar-fijn schema hanteert om de verrijkte kenmerken te injecteren en gecondenseerde visuele tokens te genereren. Specifiek interpoleren we eerst de visuele kenmerken als een laag-resolutie puntquery, wat de algehele visuele representatie als basis biedt. Vervolgens introduceren we een regio-naar-punt injectiemodule die hoog-resolutie, multi-level regio-gebaseerde cues gebruikt als fijnmazige referentiesleutels en -waarden, waardoor ze volledig kunnen worden opgenomen binnen het corresponderende lokale contextgebied. Deze stap werkt de grove puntquery effectief bij, waardoor deze wordt omgezet in een verrijkte query voor het daaropvolgende LLM-redeneren. Uitgebreide experimenten tonen aan dat onze aanpak de visuele tokens met 75%~89% comprimeert, terwijl vergelijkbare of zelfs betere prestaties worden behaald op diverse benchmarks met aanzienlijk hogere efficiëntie. De broncodes zijn te vinden op https://github.com/CircleRadon/TokenPacker.

English

The visual projector serves as an essential bridge between the visual encoder and the Large Language Model (LLM) in a Multimodal LLM (MLLM). Typically, MLLMs adopt a simple MLP to preserve all visual contexts via one-to-one transformation. However, the visual tokens are redundant and can be considerably increased when dealing with high-resolution images, impairing the efficiency of MLLMs significantly. Some recent works have introduced resampler or abstractor to reduce the number of resulting visual tokens. Unfortunately, they fail to capture finer details and undermine the visual reasoning capabilities of MLLMs. In this work, we propose a novel visual projector, which adopts a coarse-to-fine scheme to inject the enriched characteristics to generate the condensed visual tokens. In specific, we first interpolate the visual features as a low-resolution point query, providing the overall visual representation as the foundation. Then, we introduce a region-to-point injection module that utilizes high-resolution, multi-level region-based cues as fine-grained reference keys and values, allowing them to be fully absorbed within the corresponding local context region. This step effectively updates the coarse point query, transforming it into an enriched one for the subsequent LLM reasoning. Extensive experiments demonstrate that our approach compresses the visual tokens by 75%~89%, while achieves comparable or even better performance across diverse benchmarks with significantly higher efficiency. The source codes can be found at https://github.com/CircleRadon/TokenPacker.