マルチモーダルLLMにおけるアライメントの理解：包括的研究

Understanding Alignment in Multimodal LLMs: A Comprehensive Study

July 2, 2024

著者: Elmira Amirloo, Jean-Philippe Fauconnier, Christoph Roesmann, Christian Kerl, Rinu Boney, Yusu Qian, Zirui Wang, Afshin Dehghan, Yinfei Yang, Zhe Gan, Peter Grasch

cs.AI

要旨

大規模言語モデル（LLM）の性能向上において、選好アライメントは重要な要素となっているが、マルチモーダル大規模言語モデル（MLLM）におけるその影響は比較的未開拓のままである。言語モデルと同様に、画像理解タスクにおけるMLLMも、幻覚（hallucination）のような課題に直面している。MLLMでは、誤った事実を述べるだけでなく、画像の内容と矛盾する応答を生成することによっても幻覚が発生する可能性がある。MLLMのアライメントの主な目的は、これらのモデルが画像情報により密接に整合した応答を生成するよう促すことである。最近、複数の研究がMLLM向けの選好データセットを導入し、Direct Preference Optimization（DPO）やProximal Policy Optimization（PPO）といった異なるアライメント手法を検証している。しかし、データセット、ベースモデルの種類、アライメント手法の違いにより、これらの研究で報告された改善に最も大きく寄与する具体的な要素は依然として不明である。本論文では、MLLMにおける選好アライメントの各側面を独立して分析する。まず、アライメントアルゴリズムをオフライン（DPOなど）とオンライン（オンラインDPOなど）の2つのグループに分類し、特定のシナリオにおいてオフラインとオンラインの手法を組み合わせることがモデルの性能を向上させることを示す。次に、公開されている多様なマルチモーダル選好データセットをレビューし、その構築の詳細がモデルの性能にどのように影響するかを議論する。これらの知見に基づき、追加のアノテーションや外部モデルを必要としない新しいマルチモーダル選好データ作成方法であるBias-Driven Hallucination Sampling（BDHS）を提案し、これが既存のマルチモーダルモデル向けアライメント研究と競合する性能を一連のベンチマークで達成できることを示す。

English

Preference alignment has become a crucial component in enhancing the performance of Large Language Models (LLMs), yet its impact in Multimodal Large Language Models (MLLMs) remains comparatively underexplored. Similar to language models, MLLMs for image understanding tasks encounter challenges like hallucination. In MLLMs, hallucination can occur not only by stating incorrect facts but also by producing responses that are inconsistent with the image content. A primary objective of alignment for MLLMs is to encourage these models to align responses more closely with image information. Recently, multiple works have introduced preference datasets for MLLMs and examined different alignment methods, including Direct Preference Optimization (DPO) and Proximal Policy Optimization (PPO). However, due to variations in datasets, base model types, and alignment methods, it remains unclear which specific elements contribute most significantly to the reported improvements in these works. In this paper, we independently analyze each aspect of preference alignment in MLLMs. We start by categorizing the alignment algorithms into two groups, offline (such as DPO), and online (such as online-DPO), and show that combining offline and online methods can improve the performance of the model in certain scenarios. We review a variety of published multimodal preference datasets and discuss how the details of their construction impact model performance. Based on these insights, we introduce a novel way of creating multimodal preference data called Bias-Driven Hallucination Sampling (BDHS) that needs neither additional annotation nor external models, and show that it can achieve competitive performance to previously published alignment work for multimodal models across a range of benchmarks.