Улучшение визуального здравого смысла в языковых моделях с помощью генерации нескольких изображений.

Improving Visual Commonsense in Language Models via Multiple Image Generation

June 19, 2024

Авторы: Guy Yariv, Idan Schwartz, Yossi Adi, Sagie Benaim

cs.AI

Аннотация

Рассуждения на основе здравого смысла фундаментально базируются на мультимодальных знаниях. Однако существующие большие языковые модели (LLM) в основном обучаются с использованием только текстовых данных, что ограничивает их способность интегрировать важную визуальную информацию. В отличие от этого, модели визуального языка, которые отлично справляются с задачами, ориентированными на изображения, часто терпят неудачу в невизуальных задачах, таких как базовые рассуждения на основе здравого смысла. Это расхождение подчеркивает критическое испытание - интеграцию надежного визуального понимания с фундаментальным текстовым языковым рассуждением. Для этой цели мы представляем метод, направленный на улучшение визуального здравого смысла LLM. Конкретно, наш метод генерирует несколько изображений на основе входного текстового подсказки и интегрирует их в процесс принятия решения модели путем смешивания их вероятностей предсказания. Для облегчения мультимодального обоснованного языкового моделирования мы используем слой позднего объединения, который объединяет отображенные визуальные особенности с выводом предварительно обученного LLM, условного только на текст. Этот слой позднего объединения позволяет делать прогнозы на основе всесторонних знаний об изображениях и тексте только тогда, когда это необходимо. Мы оцениваем наш подход, используя несколько задач визуального рассуждения на основе здравого смысла вместе с традиционными задачами обработки естественного языка, включая рассуждения на основе здравого смысла и понимание текста. Наши экспериментальные результаты демонстрируют значительное превосходство над существующими базовыми уровнями. Применяя к недавним передовым LLM (например, Llama3), мы наблюдаем улучшения не только в визуальном здравом смысле, но и в традиционных бенчмарках обработки естественного языка. Код и модели доступны по ссылке https://github.com/guyyariv/vLMIG.

English

Commonsense reasoning is fundamentally based on multimodal knowledge. However, existing large language models (LLMs) are primarily trained using textual data only, limiting their ability to incorporate essential visual information. In contrast, Visual Language Models, which excel at visually-oriented tasks, often fail at non-visual tasks such as basic commonsense reasoning. This divergence highlights a critical challenge - the integration of robust visual understanding with foundational text-based language reasoning. To this end, we introduce a method aimed at enhancing LLMs' visual commonsense. Specifically, our method generates multiple images based on the input text prompt and integrates these into the model's decision-making process by mixing their prediction probabilities. To facilitate multimodal grounded language modeling, we employ a late-fusion layer that combines the projected visual features with the output of a pre-trained LLM conditioned on text only. This late-fusion layer enables predictions based on comprehensive image-text knowledge as well as text only when this is required. We evaluate our approach using several visual commonsense reasoning tasks together with traditional NLP tasks, including common sense reasoning and reading comprehension. Our experimental results demonstrate significant superiority over existing baselines. When applied to recent state-of-the-art LLMs (e.g., Llama3), we observe improvements not only in visual common sense but also in traditional NLP benchmarks. Code and models are available under https://github.com/guyyariv/vLMIG.