VLsI: Camadas Verbalizadas para Interações de Grandes a Pequenas em Modelos de Linguagem Visual

VLsI: Verbalized Layers-to-Interactions from Large to Small Vision Language Models

December 2, 2024

Autores: Byung-Kwan Lee, Ryo Hachiuma, Yu-Chiang Frank Wang, Yong Man Ro, Yueh-Hua Wu

cs.AI

Resumo

O recente aumento nas amostras de ajuste de instruções visuais de alta qualidade de modelos visão-linguagem de código fechado (VLMs) como o GPT-4V acelerou o lançamento de VLMs de código aberto em várias dimensões de modelo. No entanto, escalar VLMs para melhorar o desempenho usando modelos maiores traz desafios computacionais significativos, especialmente para implantação em dispositivos com recursos limitados, como plataformas móveis e robôs. Para lidar com isso, propomos VLsI: Camadas-para-Interações Verbalizadas, uma nova família de VLMs nos tamanhos de modelo 2B e 7B, que prioriza a eficiência sem comprometer a precisão. O VLsI aproveita um processo de destilação único, por camadas, introduzindo "verbalizadores" intermediários que mapeiam características de cada camada para o espaço da linguagem natural, permitindo que VLMs menores se alinhem de forma flexível com os processos de raciocínio de VLMs maiores. Essa abordagem mitiga a instabilidade de treinamento frequentemente encontrada na imitação de saída e vai além do ajuste típico da camada final, alinhando a progressão por camadas dos VLMs pequenos com a dos grandes. Validamos o VLsI em dez desafiantes benchmarks de visão-linguagem, alcançando ganhos de desempenho notáveis (11,0% para 2B e 17,4% para 7B) em relação ao GPT-4V sem a necessidade de escalonamento, fusão ou alterações arquiteturais do modelo.

English

The recent surge in high-quality visual instruction tuning samples from closed-source vision-language models (VLMs) such as GPT-4V has accelerated the release of open-source VLMs across various model sizes. However, scaling VLMs to improve performance using larger models brings significant computational challenges, especially for deployment on resource-constrained devices like mobile platforms and robots. To address this, we propose VLsI: Verbalized Layers-to-Interactions, a new VLM family in 2B and 7B model sizes, which prioritizes efficiency without compromising accuracy. VLsI leverages a unique, layer-wise distillation process, introducing intermediate "verbalizers" that map features from each layer to natural language space, allowing smaller VLMs to flexibly align with the reasoning processes of larger VLMs. This approach mitigates the training instability often encountered in output imitation and goes beyond typical final-layer tuning by aligning the small VLMs' layer-wise progression with that of the large ones. We validate VLsI across ten challenging vision-language benchmarks, achieving notable performance gains (11.0% for 2B and 17.4% for 7B) over GPT-4V without the need for model scaling, merging, or architectural changes.