다중 이미지 생성을 통한 언어 모델의 시각적 상식 향상

Improving Visual Commonsense in Language Models via Multiple Image Generation

June 19, 2024

저자: Guy Yariv, Idan Schwartz, Yossi Adi, Sagie Benaim

cs.AI

초록

상식 추론은 근본적으로 다중 모달 지식에 기반을 두고 있습니다. 그러나 기존의 대형 언어 모델(LLMs)은 주로 텍스트 데이터만을 사용해 학습되기 때문에 필수적인 시각 정보를 통합하는 능력이 제한적입니다. 반면, 시각 중심 작업에서 뛰어난 성능을 보이는 시각 언어 모델은 기본적인 상식 추론과 같은 비시각적 작업에서는 종종 실패합니다. 이러한 차이는 강력한 시각 이해와 텍스트 기반 언어 추론의 통합이라는 중요한 과제를 부각시킵니다. 이를 위해, 우리는 LLM의 시각적 상식을 향상시키기 위한 방법을 제안합니다. 구체적으로, 우리의 방법은 입력 텍스트 프롬프트를 기반으로 여러 이미지를 생성하고, 이들의 예측 확률을 혼합하여 모델의 의사결정 과정에 통합합니다. 다중 모달 기반 언어 모델링을 용이하게 하기 위해, 우리는 사전 학습된 LLM의 텍스트 전용 출력과 투영된 시각적 특징을 결합하는 후기 융합(late-fusion) 레이어를 사용합니다. 이 후기 융합 레이어는 포괄적인 이미지-텍스트 지식뿐만 아니라 필요한 경우 텍스트만을 기반으로 예측을 가능하게 합니다. 우리는 이 접근법을 여러 시각적 상식 추론 작업과 함께 전통적인 NLP 작업(상식 추론 및 독해 포함)을 사용해 평가합니다. 실험 결과는 기존의 베이스라인을 크게 능가함을 보여줍니다. 최신 최첨단 LLM(예: Llama3)에 적용했을 때, 시각적 상식뿐만 아니라 전통적인 NLP 벤치마크에서도 개선이 관찰되었습니다. 코드와 모델은 https://github.com/guyyariv/vLMIG에서 확인할 수 있습니다.

English

Commonsense reasoning is fundamentally based on multimodal knowledge. However, existing large language models (LLMs) are primarily trained using textual data only, limiting their ability to incorporate essential visual information. In contrast, Visual Language Models, which excel at visually-oriented tasks, often fail at non-visual tasks such as basic commonsense reasoning. This divergence highlights a critical challenge - the integration of robust visual understanding with foundational text-based language reasoning. To this end, we introduce a method aimed at enhancing LLMs' visual commonsense. Specifically, our method generates multiple images based on the input text prompt and integrates these into the model's decision-making process by mixing their prediction probabilities. To facilitate multimodal grounded language modeling, we employ a late-fusion layer that combines the projected visual features with the output of a pre-trained LLM conditioned on text only. This late-fusion layer enables predictions based on comprehensive image-text knowledge as well as text only when this is required. We evaluate our approach using several visual commonsense reasoning tasks together with traditional NLP tasks, including common sense reasoning and reading comprehension. Our experimental results demonstrate significant superiority over existing baselines. When applied to recent state-of-the-art LLMs (e.g., Llama3), we observe improvements not only in visual common sense but also in traditional NLP benchmarks. Code and models are available under https://github.com/guyyariv/vLMIG.