Verbesserung des visuellen gesunden Menschenverstands in Sprachmodellen durch die Erzeugung mehrerer Bilder

Improving Visual Commonsense in Language Models via Multiple Image Generation

June 19, 2024

Autoren: Guy Yariv, Idan Schwartz, Yossi Adi, Sagie Benaim

cs.AI

Zusammenfassung

Das Alltagsdenken basiert grundlegend auf multimodalem Wissen. Allerdings werden bestehende große Sprachmodelle (LLMs) hauptsächlich nur mit textuellen Daten trainiert, was ihre Fähigkeit einschränkt, wesentliche visuelle Informationen zu integrieren. Im Gegensatz dazu scheitern Visual Language Models, die in visuell orientierten Aufgaben herausragend sind, oft bei nicht-visuellen Aufgaben wie grundlegendem Alltagsdenken. Diese Abweichung verdeutlicht eine entscheidende Herausforderung - die Integration einer robusten visuellen Verständnisfähigkeit mit grundlegendem textbasiertem Sprachdenken. Zu diesem Zweck stellen wir eine Methode vor, die darauf abzielt, das visuelle Alltagsdenken von LLMs zu verbessern. Speziell generiert unsere Methode mehrere Bilder basierend auf dem Eingabetext und integriert diese in den Entscheidungsfindungsprozess des Modells, indem sie ihre Vorhersage-Wahrscheinlichkeiten mischt. Um multimodellbasiertes Sprachmodellieren zu erleichtern, verwenden wir eine Spätverschmelzungsschicht, die die projizierten visuellen Merkmale mit der Ausgabe eines auf reinen Text konditionierten, vorab trainierten LLM kombiniert. Diese Spätverschmelzungsschicht ermöglicht Vorhersagen basierend auf umfassendem Bild-Text-Wissen sowie nur Text, wenn dies erforderlich ist. Wir bewerten unseren Ansatz anhand mehrerer visueller Alltagsdenkaufgaben zusammen mit traditionellen NLP-Aufgaben, einschließlich Alltagsdenken und Leseverständnis. Unsere experimentellen Ergebnisse zeigen eine signifikante Überlegenheit gegenüber bestehenden Ausgangspunkten. Bei Anwendung auf aktuelle Spitzen-LLMs (z. B. Llama3) beobachten wir Verbesserungen nicht nur im visuellen Alltagsdenken, sondern auch in traditionellen NLP-Benchmarks. Code und Modelle sind unter https://github.com/guyyariv/vLMIG verfügbar.

English

Commonsense reasoning is fundamentally based on multimodal knowledge. However, existing large language models (LLMs) are primarily trained using textual data only, limiting their ability to incorporate essential visual information. In contrast, Visual Language Models, which excel at visually-oriented tasks, often fail at non-visual tasks such as basic commonsense reasoning. This divergence highlights a critical challenge - the integration of robust visual understanding with foundational text-based language reasoning. To this end, we introduce a method aimed at enhancing LLMs' visual commonsense. Specifically, our method generates multiple images based on the input text prompt and integrates these into the model's decision-making process by mixing their prediction probabilities. To facilitate multimodal grounded language modeling, we employ a late-fusion layer that combines the projected visual features with the output of a pre-trained LLM conditioned on text only. This late-fusion layer enables predictions based on comprehensive image-text knowledge as well as text only when this is required. We evaluate our approach using several visual commonsense reasoning tasks together with traditional NLP tasks, including common sense reasoning and reading comprehension. Our experimental results demonstrate significant superiority over existing baselines. When applied to recent state-of-the-art LLMs (e.g., Llama3), we observe improvements not only in visual common sense but also in traditional NLP benchmarks. Code and models are available under https://github.com/guyyariv/vLMIG.