Verbetering van Visueel Gezond Verstand in Taalmodellen via Meervoudige Afbeeldingen Generatie

Improving Visual Commonsense in Language Models via Multiple Image Generation

June 19, 2024

Auteurs: Guy Yariv, Idan Schwartz, Yossi Adi, Sagie Benaim

cs.AI

Samenvatting

Common sense redeneren is fundamenteel gebaseerd op multimodale kennis. Echter, bestaande grote taalmodellen (LLMs) worden voornamelijk getraind met alleen tekstuele data, wat hun vermogen beperkt om essentiële visuele informatie te integreren. Daarentegen falen visuele taalmodellen, die uitblinken in visueel georiënteerde taken, vaak bij niet-visuele taken zoals basis common sense redeneren. Deze divergentie benadrukt een kritieke uitdaging - de integratie van robuust visueel begrip met fundamenteel tekstgebaseerd taalredeneren. Hiertoe introduceren we een methode gericht op het verbeteren van het visuele common sense van LLMs. Specifiek genereert onze methode meerdere afbeeldingen op basis van de ingevoerde tekstprompt en integreert deze in het besluitvormingsproces van het model door hun voorspellingskansen te combineren. Om multimodaal verankerd taalmodelleren te faciliteren, gebruiken we een late-fusielaag die de geprojecteerde visuele kenmerken combineert met de uitvoer van een vooraf getraind LLM dat alleen op tekst is gebaseerd. Deze late-fusielaag maakt voorspellingen mogelijk op basis van uitgebreide beeld-tekstkennis, evenals alleen tekst wanneer dit nodig is. We evalueren onze aanpak met behulp van verschillende visuele common sense redeneertaken samen met traditionele NLP-taken, waaronder common sense redeneren en leesbegrip. Onze experimentele resultaten tonen een significante superioriteit ten opzichte van bestaande baseline-modellen. Wanneer toegepast op recente state-of-the-art LLMs (bijv. Llama3), observeren we verbeteringen niet alleen in visueel common sense, maar ook in traditionele NLP-benchmarks. Code en modellen zijn beschikbaar op https://github.com/guyyariv/vLMIG.

English

Commonsense reasoning is fundamentally based on multimodal knowledge. However, existing large language models (LLMs) are primarily trained using textual data only, limiting their ability to incorporate essential visual information. In contrast, Visual Language Models, which excel at visually-oriented tasks, often fail at non-visual tasks such as basic commonsense reasoning. This divergence highlights a critical challenge - the integration of robust visual understanding with foundational text-based language reasoning. To this end, we introduce a method aimed at enhancing LLMs' visual commonsense. Specifically, our method generates multiple images based on the input text prompt and integrates these into the model's decision-making process by mixing their prediction probabilities. To facilitate multimodal grounded language modeling, we employ a late-fusion layer that combines the projected visual features with the output of a pre-trained LLM conditioned on text only. This late-fusion layer enables predictions based on comprehensive image-text knowledge as well as text only when this is required. We evaluate our approach using several visual commonsense reasoning tasks together with traditional NLP tasks, including common sense reasoning and reading comprehension. Our experimental results demonstrate significant superiority over existing baselines. When applied to recent state-of-the-art LLMs (e.g., Llama3), we observe improvements not only in visual common sense but also in traditional NLP benchmarks. Code and models are available under https://github.com/guyyariv/vLMIG.