Inzicht in Afstemming bij Multimodale LLM's: Een Uitgebreide Studie

Samenvatting

Voorkeursafstemming is een cruciaal onderdeel geworden bij het verbeteren van de prestaties van Large Language Models (LLMs), maar de impact ervan in Multimodale Large Language Models (MLLMs) is nog relatief onderbelicht. Net als bij taalmmodellen, ondervinden MLLMs voor beeldbegriptaken uitdagingen zoals hallucinatie. In MLLMs kan hallucinatie niet alleen optreden door het vermelden van onjuiste feiten, maar ook door het produceren van reacties die inconsistent zijn met de beeldinhoud. Een primair doel van afstemming voor MLLMs is om deze modellen aan te moedigen reacties nauwer te laten aansluiten bij de beeldinformatie. Recentelijk hebben meerdere werken voorkeursdatasets voor MLLMs geïntroduceerd en verschillende afstemmingsmethoden onderzocht, waaronder Direct Preference Optimization (DPO) en Proximal Policy Optimization (PPO). Echter, vanwege variaties in datasets, basismodeltypen en afstemmingsmethoden, blijft het onduidelijk welke specifieke elementen het meest bijdragen aan de gerapporteerde verbeteringen in deze werken. In dit artikel analyseren we onafhankelijk elk aspect van voorkeursafstemming in MLLMs. We beginnen met het categoriseren van de afstemmingsalgoritmen in twee groepen, offline (zoals DPO) en online (zoals online-DPO), en laten zien dat het combineren van offline en online methoden de prestaties van het model in bepaalde scenario's kan verbeteren. We bespreken een verscheidenheid aan gepubliceerde multimodale voorkeursdatasets en bespreken hoe de details van hun constructie de modelprestaties beïnvloeden. Op basis van deze inzichten introduceren we een nieuwe manier om multimodale voorkeursdata te creëren, genaamd Bias-Driven Hallucination Sampling (BDHS), die noch aanvullende annotatie noch externe modellen nodig heeft, en laten zien dat het competitieve prestaties kan bereiken in vergelijking met eerder gepubliceerde afstemmingswerkzaamheden voor multimodale modellen over een reeks benchmarks.

English

Preference alignment has become a crucial component in enhancing the performance of Large Language Models (LLMs), yet its impact in Multimodal Large Language Models (MLLMs) remains comparatively underexplored. Similar to language models, MLLMs for image understanding tasks encounter challenges like hallucination. In MLLMs, hallucination can occur not only by stating incorrect facts but also by producing responses that are inconsistent with the image content. A primary objective of alignment for MLLMs is to encourage these models to align responses more closely with image information. Recently, multiple works have introduced preference datasets for MLLMs and examined different alignment methods, including Direct Preference Optimization (DPO) and Proximal Policy Optimization (PPO). However, due to variations in datasets, base model types, and alignment methods, it remains unclear which specific elements contribute most significantly to the reported improvements in these works. In this paper, we independently analyze each aspect of preference alignment in MLLMs. We start by categorizing the alignment algorithms into two groups, offline (such as DPO), and online (such as online-DPO), and show that combining offline and online methods can improve the performance of the model in certain scenarios. We review a variety of published multimodal preference datasets and discuss how the details of their construction impact model performance. Based on these insights, we introduce a novel way of creating multimodal preference data called Bias-Driven Hallucination Sampling (BDHS) that needs neither additional annotation nor external models, and show that it can achieve competitive performance to previously published alignment work for multimodal models across a range of benchmarks.

Inzicht in Afstemming bij Multimodale LLM's: Een Uitgebreide Studie

Understanding Alignment in Multimodal LLMs: A Comprehensive Study

Samenvatting

Support