Optimización Directa de Preferencias para Modelos Multimodales de Gran Escala de Video a partir de Recompensas de Modelos de Lenguaje

Direct Preference Optimization of Video Large Multimodal Models from Language Model Reward

April 1, 2024

Autores: Ruohong Zhang, Liangke Gui, Zhiqing Sun, Yihao Feng, Keyang Xu, Yuanhan Zhang, Di Fu, Chunyuan Li, Alexander Hauptmann, Yonatan Bisk, Yiming Yang

cs.AI

Resumen

Las técnicas de modelado de preferencias, como la optimización directa de preferencias (DPO), han demostrado ser efectivas para mejorar las capacidades de generalización de los modelos de lenguaje de gran escala (LLM). Sin embargo, en tareas que implican seguir instrucciones basadas en videos, proporcionar retroalimentación informativa, especialmente para detectar alucinaciones en las respuestas generadas, sigue siendo un desafío significativo. Estudios previos han explorado el uso de modelos multimodales de gran escala (LMM) como modelos de recompensa para guiar el modelado de preferencias, pero su capacidad para evaluar con precisión la factualidad de las respuestas generadas en comparación con los videos correspondientes no se ha establecido de manera concluyente. Este artículo introduce un marco novedoso que utiliza descripciones detalladas de videos como un proxy del contenido visual, permitiendo que los modelos de lenguaje incorporen esta información como evidencia de apoyo para puntuar las predicciones de preguntas y respuestas (QA) sobre videos. Nuestro enfoque demuestra una sólida alineación con el mecanismo de recompensa del modelo GPT-4V de OpenAI, que toma directamente los fotogramas de video como entrada. Además, mostramos que la aplicación de esta recompensa personalizada a través de DPO mejora significativamente el rendimiento de los LMM en tareas de QA sobre videos.

English

Preference modeling techniques, such as direct preference optimization (DPO), has shown effective in enhancing the generalization abilities of large language model (LLM). However, in tasks involving video instruction-following, providing informative feedback, especially for detecting hallucinations in generated responses, remains a significant challenge. Previous studies have explored using large large multimodal models (LMMs) as reward models to guide preference modeling, but their ability to accurately assess the factuality of generated responses compared to corresponding videos has not been conclusively established. This paper introduces a novel framework that utilizes detailed video captions as a proxy of video content, enabling language models to incorporate this information as supporting evidence for scoring video Question Answering (QA) predictions. Our approach demonstrates robust alignment with OpenAI GPT-4V model's reward mechanism, which directly takes video frames as input. Furthermore, we show that applying this tailored reward through DPO significantly improves the performance of video LMMs on video QA tasks.