Прямая оптимизация предпочтений видео больших мультимодальных моделей на основе вознаграждения модели языковой модели.

Direct Preference Optimization of Video Large Multimodal Models from Language Model Reward

April 1, 2024

Авторы: Ruohong Zhang, Liangke Gui, Zhiqing Sun, Yihao Feng, Keyang Xu, Yuanhan Zhang, Di Fu, Chunyuan Li, Alexander Hauptmann, Yonatan Bisk, Yiming Yang

cs.AI

Аннотация

Техники моделирования предпочтений, такие как прямая оптимизация предпочтений (DPO), показали свою эффективность в улучшении способностей обобщения больших языковых моделей (LLM). Однако в задачах, связанных с следованием видеоинструкциям и предоставлением информативной обратной связи, особенно для обнаружения галлюцинаций в сгенерированных ответах, остается значительным вызовом. Предыдущие исследования исследовали использование больших мультимодальных моделей (LMMs) в качестве моделей вознаграждения для направления моделирования предпочтений, однако их способность точно оценивать достоверность сгенерированных ответов по сравнению с соответствующими видео не была окончательно установлена. В данной статье представлена новая методология, которая использует подробные подписи к видео в качестве замены видеоконтента, позволяя языковым моделям включать эту информацию в качестве подтверждающего доказательства для оценки предсказаний видео вопросно-ответных систем (QA). Наш подход продемонстрировал надежное соответствие механизму вознаграждения модели OpenAI GPT-4V, который принимает видеокадры в качестве входных данных. Более того, мы показываем, что применение этого настроенного вознаграждения через DPO значительно улучшает производительность мультимодальных моделей на видео задачах QA.

English

Preference modeling techniques, such as direct preference optimization (DPO), has shown effective in enhancing the generalization abilities of large language model (LLM). However, in tasks involving video instruction-following, providing informative feedback, especially for detecting hallucinations in generated responses, remains a significant challenge. Previous studies have explored using large large multimodal models (LMMs) as reward models to guide preference modeling, but their ability to accurately assess the factuality of generated responses compared to corresponding videos has not been conclusively established. This paper introduces a novel framework that utilizes detailed video captions as a proxy of video content, enabling language models to incorporate this information as supporting evidence for scoring video Question Answering (QA) predictions. Our approach demonstrates robust alignment with OpenAI GPT-4V model's reward mechanism, which directly takes video frames as input. Furthermore, we show that applying this tailored reward through DPO significantly improves the performance of video LMMs on video QA tasks.