OLA-VLM: Elevando a Percepção Visual em LLMs Multimodais com Destilação de Incorporação Auxiliar

OLA-VLM: Elevating Visual Perception in Multimodal LLMs with Auxiliary Embedding Distillation

December 12, 2024

Autores: Jitesh Jain, Zhengyuan Yang, Humphrey Shi, Jianfeng Gao, Jianwei Yang

cs.AI

Resumo

A prática padrão para desenvolver MLLMs contemporâneos é alimentar características de um ou mais codificadores de visão no LLM e treinar com supervisão de linguagem natural. Neste trabalho, postulamos uma oportunidade negligenciada de otimizar as representações intermediárias do LLM por meio de uma perspectiva visual (objetivo), ou seja, apenas a supervisão de linguagem natural é subótima para a capacidade de compreensão visual do MLLM. Com esse propósito, propomos o OLA-VLM, a primeira abordagem que destila conhecimento nas representações ocultas do LLM a partir de um conjunto de representações visuais-alvo. Primeiramente, formulamos o objetivo durante a etapa de pré-treinamento em MLLMs como uma otimização acoplada da incorporação visual preditiva e da próxima previsão de token de texto. Em segundo lugar, investigamos MLLMs treinados exclusivamente com supervisão de linguagem natural e identificamos uma correlação positiva entre a qualidade das representações visuais dentro desses modelos e seu desempenho subsequente. Além disso, ao investigar nosso OLA-VLM, observamos uma melhoria na qualidade da representação devido à otimização da incorporação. Em terceiro lugar, demonstramos que nosso OLA-VLM supera as linhas de base de codificador único e multi, comprovando a superioridade de nossa abordagem em relação à alimentação explícita das características correspondentes para o LLM. Especificamente, o OLA-VLM melhora o desempenho em uma margem média de até 2,5% em vários benchmarks, com uma melhoria significativa de 8,7% na tarefa de Profundidade no CV-Bench. Nosso código está disponível em código aberto em https://github.com/SHI-Labs/OLA-VLM.

English

The standard practice for developing contemporary MLLMs is to feed features from vision encoder(s) into the LLM and train with natural language supervision. In this work, we posit an overlooked opportunity to optimize the intermediate LLM representations through a vision perspective (objective), i.e., solely natural language supervision is sub-optimal for the MLLM's visual understanding ability. To that end, we propose OLA-VLM, the first approach distilling knowledge into the LLM's hidden representations from a set of target visual representations. Firstly, we formulate the objective during the pretraining stage in MLLMs as a coupled optimization of predictive visual embedding and next text-token prediction. Secondly, we investigate MLLMs trained solely with natural language supervision and identify a positive correlation between the quality of visual representations within these models and their downstream performance. Moreover, upon probing our OLA-VLM, we observe improved representation quality owing to the embedding optimization. Thirdly, we demonstrate that our OLA-VLM outperforms the single and multi-encoder baselines, proving our approach's superiority over explicitly feeding the corresponding features to the LLM. Particularly, OLA-VLM boosts performance by an average margin of up to 2.5% on various benchmarks, with a notable improvement of 8.7% on the Depth task in CV-Bench. Our code is open-sourced at https://github.com/SHI-Labs/OLA-VLM .