TokenPacker: Projetor Visual Eficiente para LLM Multimodal

TokenPacker: Efficient Visual Projector for Multimodal LLM

July 2, 2024

Autores: Wentong Li, Yuqian Yuan, Jian Liu, Dongqi Tang, Song Wang, Jianke Zhu, Lei Zhang

cs.AI

Resumo

O projetor visual atua como uma ponte essencial entre o codificador visual e o Modelo de Linguagem Grande (LLM) em um Modelo de Linguagem Multimodal (MLLM). Tipicamente, MLLMs adotam um MLP simples para preservar todos os contextos visuais por meio de uma transformação um-para-um. No entanto, os tokens visuais são redundantes e podem ser consideravelmente aumentados ao lidar com imagens de alta resolução, prejudicando significativamente a eficiência dos MLLMs. Alguns trabalhos recentes introduziram um reamostrador ou um abstrator para reduzir o número de tokens visuais resultantes. Infelizmente, eles falham em capturar detalhes mais finos e minam as capacidades de raciocínio visual dos MLLMs. Neste trabalho, propomos um novo projetor visual, que adota um esquema de grosso a fino para injetar as características enriquecidas a fim de gerar os tokens visuais condensados. Especificamente, interpolamos inicialmente as características visuais como uma consulta de ponto de baixa resolução, fornecendo a representação visual geral como base. Em seguida, introduzimos um módulo de injeção de região para ponto que utiliza pistas baseadas em região de alta resolução e em vários níveis como chaves de referência e valores de granularidade fina, permitindo que sejam totalmente absorvidas dentro da região de contexto local correspondente. Este passo atualiza efetivamente a consulta de ponto grosseira, transformando-a em uma enriquecida para o raciocínio subsequente do LLM. Experimentos extensivos demonstram que nossa abordagem comprime os tokens visuais em 75% a 89%, enquanto alcança desempenho comparável ou até melhor em diversos benchmarks com eficiência significativamente maior. Os códigos-fonte podem ser encontrados em https://github.com/CircleRadon/TokenPacker.

English

The visual projector serves as an essential bridge between the visual encoder and the Large Language Model (LLM) in a Multimodal LLM (MLLM). Typically, MLLMs adopt a simple MLP to preserve all visual contexts via one-to-one transformation. However, the visual tokens are redundant and can be considerably increased when dealing with high-resolution images, impairing the efficiency of MLLMs significantly. Some recent works have introduced resampler or abstractor to reduce the number of resulting visual tokens. Unfortunately, they fail to capture finer details and undermine the visual reasoning capabilities of MLLMs. In this work, we propose a novel visual projector, which adopts a coarse-to-fine scheme to inject the enriched characteristics to generate the condensed visual tokens. In specific, we first interpolate the visual features as a low-resolution point query, providing the overall visual representation as the foundation. Then, we introduce a region-to-point injection module that utilizes high-resolution, multi-level region-based cues as fine-grained reference keys and values, allowing them to be fully absorbed within the corresponding local context region. This step effectively updates the coarse point query, transforming it into an enriched one for the subsequent LLM reasoning. Extensive experiments demonstrate that our approach compresses the visual tokens by 75%~89%, while achieves comparable or even better performance across diverse benchmarks with significantly higher efficiency. The source codes can be found at https://github.com/CircleRadon/TokenPacker.