Directe Voorkeursoptimalisatie van Video Large Multimodal Models op basis van Taalmodelbeloning

Direct Preference Optimization of Video Large Multimodal Models from Language Model Reward

April 1, 2024

Auteurs: Ruohong Zhang, Liangke Gui, Zhiqing Sun, Yihao Feng, Keyang Xu, Yuanhan Zhang, Di Fu, Chunyuan Li, Alexander Hauptmann, Yonatan Bisk, Yiming Yang

cs.AI

Samenvatting

Voorkeursmodelleringstechnieken, zoals directe voorkeursoptimalisatie (DPO), hebben hun effectiviteit bewezen bij het verbeteren van de generalisatiecapaciteiten van grote taalmmodellen (LLM). Echter, bij taken die het volgen van video-instructies betreffen, blijft het geven van informatieve feedback, met name voor het detecteren van hallucinaties in gegenereerde antwoorden, een aanzienlijke uitdaging. Eerdere studies hebben het gebruik van grote multimodale modellen (LMMs) als beloningsmodellen onderzocht om voorkeursmodellering te begeleiden, maar hun vermogen om de feitelijkheid van gegenereerde antwoorden in vergelijking met bijbehorende video's nauwkeurig te beoordelen, is nog niet definitief vastgesteld. Dit artikel introduceert een nieuw raamwerk dat gedetailleerde videobijschriften gebruikt als een proxy voor videocontent, waardoor taalmmodellen deze informatie kunnen opnemen als ondersteunend bewijs voor het scoren van video-vraag-antwoord (QA) voorspellingen. Onze aanpak toont een sterke afstemming met het beloningsmechanisme van het OpenAI GPT-4V-model, dat direct videoframes als invoer neemt. Bovendien laten we zien dat het toepassen van deze op maat gemaakte beloning via DPO de prestaties van video-LMMs bij video-QA-taken aanzienlijk verbetert.

English

Preference modeling techniques, such as direct preference optimization (DPO), has shown effective in enhancing the generalization abilities of large language model (LLM). However, in tasks involving video instruction-following, providing informative feedback, especially for detecting hallucinations in generated responses, remains a significant challenge. Previous studies have explored using large large multimodal models (LMMs) as reward models to guide preference modeling, but their ability to accurately assess the factuality of generated responses compared to corresponding videos has not been conclusively established. This paper introduces a novel framework that utilizes detailed video captions as a proxy of video content, enabling language models to incorporate this information as supporting evidence for scoring video Question Answering (QA) predictions. Our approach demonstrates robust alignment with OpenAI GPT-4V model's reward mechanism, which directly takes video frames as input. Furthermore, we show that applying this tailored reward through DPO significantly improves the performance of video LMMs on video QA tasks.