Optimización de la Preferencia de Tareas: Mejora de Modelos de Lenguaje Multimodales Grandes con Alineación de Tareas de Visión

Task Preference Optimization: Improving Multimodal Large Language Models with Vision Task Alignment

December 26, 2024

Autores: Ziang Yan, Zhilin Li, Yinan He, Chenting Wang, Kunchang Li, Xinhao Li, Xiangyu Zeng, Zilei Wang, Yali Wang, Yu Qiao, Limin Wang, Yi Wang

cs.AI

Resumen

Los actuales modelos de lenguaje multimodales grandes (MLLMs) tienen dificultades con la comprensión detallada o precisa de las imágenes, aunque ofrecen una percepción y razonamiento exhaustivos en un espectro de aplicaciones visuales. Estudios recientes han desarrollado herramientas o unificado tareas visuales específicas en el marco autoregresivo, a menudo a expensas del rendimiento multimodal general. Para abordar este problema y mejorar los MLLMs con tareas visuales de manera escalable, proponemos la Optimización de Preferencia de Tareas (TPO), un método novedoso que utiliza preferencias de tarea diferenciables derivadas de tareas visuales típicas detalladas. TPO introduce tokens de tarea aprendibles que establecen conexiones entre múltiples cabezas específicas de tarea y el MLLM. Al aprovechar etiquetas visuales detalladas durante el entrenamiento, TPO mejora significativamente las capacidades multimodales del MLLM y el rendimiento específico de la tarea. A través del entrenamiento conjunto de múltiples tareas dentro de TPO, observamos beneficios sinérgicos que elevan el rendimiento de tareas individuales más allá de lo que es posible mediante metodologías de entrenamiento de una sola tarea. Nuestra implementación de este enfoque con VideoChat y LLaVA demuestra una mejora del 14.6% en el rendimiento multimodal en general en comparación con los modelos base. Además, MLLM-TPO muestra capacidades robustas de cero disparo en diversas tareas, con un rendimiento comparable a los modelos supervisados de última generación. El código se publicará en https://github.com/OpenGVLab/TPO.

English

Current multimodal large language models (MLLMs) struggle with fine-grained or precise understanding of visuals though they give comprehensive perception and reasoning in a spectrum of vision applications. Recent studies either develop tool-using or unify specific visual tasks into the autoregressive framework, often at the expense of overall multimodal performance. To address this issue and enhance MLLMs with visual tasks in a scalable fashion, we propose Task Preference Optimization (TPO), a novel method that utilizes differentiable task preferences derived from typical fine-grained visual tasks. TPO introduces learnable task tokens that establish connections between multiple task-specific heads and the MLLM. By leveraging rich visual labels during training, TPO significantly enhances the MLLM's multimodal capabilities and task-specific performance. Through multi-task co-training within TPO, we observe synergistic benefits that elevate individual task performance beyond what is achievable through single-task training methodologies. Our instantiation of this approach with VideoChat and LLaVA demonstrates an overall 14.6% improvement in multimodal performance compared to baseline models. Additionally, MLLM-TPO demonstrates robust zero-shot capabilities across various tasks, performing comparably to state-of-the-art supervised models. The code will be released at https://github.com/OpenGVLab/TPO