Amélioration du bon sens visuel dans les modèles de langage via la génération multiple d'images

Improving Visual Commonsense in Language Models via Multiple Image Generation

June 19, 2024

Auteurs: Guy Yariv, Idan Schwartz, Yossi Adi, Sagie Benaim

cs.AI

Résumé

Le raisonnement de bon sens repose fondamentalement sur des connaissances multimodales. Cependant, les grands modèles de langage (LLMs) existants sont principalement entraînés à l'aide de données textuelles uniquement, ce qui limite leur capacité à intégrer des informations visuelles essentielles. En revanche, les modèles de langage visuel, qui excellent dans les tâches orientées visuellement, échouent souvent dans des tâches non visuelles telles que le raisonnement de bon sens de base. Cette divergence met en lumière un défi critique : l'intégration d'une compréhension visuelle robuste avec un raisonnement linguistique textuel fondamental. À cette fin, nous introduisons une méthode visant à améliorer le bon sens visuel des LLMs. Plus précisément, notre méthode génère plusieurs images à partir de l'invite textuelle d'entrée et les intègre dans le processus de prise de décision du modèle en mélangeant leurs probabilités de prédiction. Pour faciliter la modélisation linguistique multimodale ancrée, nous utilisons une couche de fusion tardive qui combine les caractéristiques visuelles projetées avec la sortie d'un LLM pré-entraîné conditionné uniquement sur le texte. Cette couche de fusion tardive permet des prédictions basées sur une connaissance complète image-texte ainsi que sur le texte uniquement lorsque cela est nécessaire. Nous évaluons notre approche à l'aide de plusieurs tâches de raisonnement de bon sens visuel ainsi que de tâches NLP traditionnelles, y compris le raisonnement de bon sens et la compréhension de lecture. Nos résultats expérimentaux démontrent une supériorité significative par rapport aux bases de référence existantes. Lorsqu'elle est appliquée aux LLMs récents de pointe (par exemple, Llama3), nous observons des améliorations non seulement dans le bon sens visuel mais aussi dans les benchmarks NLP traditionnels. Le code et les modèles sont disponibles sous https://github.com/guyyariv/vLMIG.

English

Commonsense reasoning is fundamentally based on multimodal knowledge. However, existing large language models (LLMs) are primarily trained using textual data only, limiting their ability to incorporate essential visual information. In contrast, Visual Language Models, which excel at visually-oriented tasks, often fail at non-visual tasks such as basic commonsense reasoning. This divergence highlights a critical challenge - the integration of robust visual understanding with foundational text-based language reasoning. To this end, we introduce a method aimed at enhancing LLMs' visual commonsense. Specifically, our method generates multiple images based on the input text prompt and integrates these into the model's decision-making process by mixing their prediction probabilities. To facilitate multimodal grounded language modeling, we employ a late-fusion layer that combines the projected visual features with the output of a pre-trained LLM conditioned on text only. This late-fusion layer enables predictions based on comprehensive image-text knowledge as well as text only when this is required. We evaluate our approach using several visual commonsense reasoning tasks together with traditional NLP tasks, including common sense reasoning and reading comprehension. Our experimental results demonstrate significant superiority over existing baselines. When applied to recent state-of-the-art LLMs (e.g., Llama3), we observe improvements not only in visual common sense but also in traditional NLP benchmarks. Code and models are available under https://github.com/guyyariv/vLMIG.