Optimisation Directe des Préférences pour les Modèles Multimodaux Vidéo de Grande Taille à partir de Récompenses de Modèles de Langage

Direct Preference Optimization of Video Large Multimodal Models from Language Model Reward

April 1, 2024

Auteurs: Ruohong Zhang, Liangke Gui, Zhiqing Sun, Yihao Feng, Keyang Xu, Yuanhan Zhang, Di Fu, Chunyuan Li, Alexander Hauptmann, Yonatan Bisk, Yiming Yang

cs.AI

Résumé

Les techniques de modélisation des préférences, telles que l'optimisation directe des préférences (DPO), se sont révélées efficaces pour améliorer les capacités de généralisation des grands modèles de langage (LLM). Cependant, dans les tâches impliquant le suivi d'instructions vidéo, fournir un retour d'information informatif, en particulier pour détecter les hallucinations dans les réponses générées, reste un défi majeur. Des études antérieures ont exploré l'utilisation de grands modèles multimodaux (LMM) comme modèles de récompense pour guider la modélisation des préférences, mais leur capacité à évaluer avec précision la factualité des réponses générées par rapport aux vidéos correspondantes n'a pas été concluante. Cet article présente un cadre novateur qui utilise des légendes vidéo détaillées comme proxy du contenu vidéo, permettant aux modèles de langage d'intégrer ces informations comme preuves à l'appui pour évaluer les prédictions de questions-réponses (QA) vidéo. Notre approche démontre un alignement robuste avec le mécanisme de récompense du modèle OpenAI GPT-4V, qui prend directement les images vidéo en entrée. De plus, nous montrons que l'application de cette récompense personnalisée via la DPO améliore significativement les performances des LMM vidéo sur les tâches de QA vidéo.

English

Preference modeling techniques, such as direct preference optimization (DPO), has shown effective in enhancing the generalization abilities of large language model (LLM). However, in tasks involving video instruction-following, providing informative feedback, especially for detecting hallucinations in generated responses, remains a significant challenge. Previous studies have explored using large large multimodal models (LMMs) as reward models to guide preference modeling, but their ability to accurately assess the factuality of generated responses compared to corresponding videos has not been conclusively established. This paper introduces a novel framework that utilizes detailed video captions as a proxy of video content, enabling language models to incorporate this information as supporting evidence for scoring video Question Answering (QA) predictions. Our approach demonstrates robust alignment with OpenAI GPT-4V model's reward mechanism, which directly takes video frames as input. Furthermore, we show that applying this tailored reward through DPO significantly improves the performance of video LMMs on video QA tasks.