Melhorando o Senso Comum Visual em Modelos de Linguagem por meio da Geração Múltipla de Imagens

Improving Visual Commonsense in Language Models via Multiple Image Generation

June 19, 2024

Autores: Guy Yariv, Idan Schwartz, Yossi Adi, Sagie Benaim

cs.AI

Resumo

O raciocínio de senso comum é fundamentalmente baseado em conhecimento multimodal. No entanto, os grandes modelos de linguagem (LLMs) existentes são principalmente treinados usando apenas dados textuais, o que limita sua capacidade de incorporar informações visuais essenciais. Em contraste, os Modelos de Linguagem Visual, que se destacam em tarefas orientadas visualmente, muitas vezes falham em tarefas não visuais, como o raciocínio básico de senso comum. Essa divergência destaca um desafio crítico: a integração de uma compreensão visual robusta com o raciocínio linguístico baseado em texto. Para isso, introduzimos um método voltado a aprimorar o senso comum visual dos LLMs. Especificamente, nosso método gera múltiplas imagens com base no prompt de texto de entrada e as integra ao processo de tomada de decisão do modelo, misturando suas probabilidades de predição. Para facilitar a modelagem de linguagem multimodal fundamentada, empregamos uma camada de fusão tardia que combina as características visuais projetadas com a saída de um LLM pré-treinado condicionado apenas em texto. Essa camada de fusão tardia permite previsões baseadas em conhecimento abrangente de imagem-texto, bem como apenas em texto quando necessário. Avaliamos nossa abordagem usando várias tarefas de raciocínio de senso comum visual, juntamente com tarefas tradicionais de PLN, incluindo raciocínio de senso comum e compreensão de leitura. Nossos resultados experimentais demonstram uma superioridade significativa em relação às linhas de base existentes. Quando aplicado a LLMs recentes de última geração (por exemplo, Llama3), observamos melhorias não apenas no senso comum visual, mas também em benchmarks tradicionais de PLN. O código e os modelos estão disponíveis em https://github.com/guyyariv/vLMIG.

English

Commonsense reasoning is fundamentally based on multimodal knowledge. However, existing large language models (LLMs) are primarily trained using textual data only, limiting their ability to incorporate essential visual information. In contrast, Visual Language Models, which excel at visually-oriented tasks, often fail at non-visual tasks such as basic commonsense reasoning. This divergence highlights a critical challenge - the integration of robust visual understanding with foundational text-based language reasoning. To this end, we introduce a method aimed at enhancing LLMs' visual commonsense. Specifically, our method generates multiple images based on the input text prompt and integrates these into the model's decision-making process by mixing their prediction probabilities. To facilitate multimodal grounded language modeling, we employ a late-fusion layer that combines the projected visual features with the output of a pre-trained LLM conditioned on text only. This late-fusion layer enables predictions based on comprehensive image-text knowledge as well as text only when this is required. We evaluate our approach using several visual commonsense reasoning tasks together with traditional NLP tasks, including common sense reasoning and reading comprehension. Our experimental results demonstrate significant superiority over existing baselines. When applied to recent state-of-the-art LLMs (e.g., Llama3), we observe improvements not only in visual common sense but also in traditional NLP benchmarks. Code and models are available under https://github.com/guyyariv/vLMIG.