Оптимизация предпочтений задач: улучшение мультимодальных крупных языковых моделей с выравниванием задач зрения.

Task Preference Optimization: Improving Multimodal Large Language Models with Vision Task Alignment

December 26, 2024

Авторы: Ziang Yan, Zhilin Li, Yinan He, Chenting Wang, Kunchang Li, Xinhao Li, Xiangyu Zeng, Zilei Wang, Yali Wang, Yu Qiao, Limin Wang, Yi Wang

cs.AI

Аннотация

Текущие мультимодальные модели языка большого масштаба (MLLM) испытывают затруднения с детализированным или точным пониманием визуальных данных, хотя они обеспечивают всестороннее восприятие и рассуждения в широком спектре приложений в области зрения. Недавние исследования либо разрабатывают инструменты, либо объединяют конкретные визуальные задачи в авторегрессионную структуру, часто за счет общей мультимодальной производительности. Для решения этой проблемы и улучшения MLLM с визуальными задачами масштабируемым образом, мы предлагаем оптимизацию предпочтений задач (Task Preference Optimization, TPO), новый метод, который использует дифференцируемые предпочтения задач, происходящие из типичных детализированных визуальных задач. TPO вводит обучаемые токены задач, которые устанавливают связи между несколькими задаче-специфическими "головами" и MLLM. Используя богатые визуальные метки во время обучения, TPO значительно улучшает мультимодальные возможности MLLM и производительность по задачам. Через совместное обучение нескольких задач в рамках TPO мы наблюдаем синергетические преимущества, которые повышают производительность индивидуальных задач за пределы того, что достижимо с помощью методологий обучения с одной задачей. Наша реализация этого подхода с VideoChat и LLaVA демонстрирует общее улучшение мультимодальной производительности на 14,6% по сравнению с базовыми моделями. Кроме того, MLLM-TPO демонстрирует надежные возможности нулевого обучения на различных задачах, проявляя сравнимую производительность с передовыми моделями с учителем. Код будет опубликован на https://github.com/OpenGVLab/TPO.

English

Current multimodal large language models (MLLMs) struggle with fine-grained or precise understanding of visuals though they give comprehensive perception and reasoning in a spectrum of vision applications. Recent studies either develop tool-using or unify specific visual tasks into the autoregressive framework, often at the expense of overall multimodal performance. To address this issue and enhance MLLMs with visual tasks in a scalable fashion, we propose Task Preference Optimization (TPO), a novel method that utilizes differentiable task preferences derived from typical fine-grained visual tasks. TPO introduces learnable task tokens that establish connections between multiple task-specific heads and the MLLM. By leveraging rich visual labels during training, TPO significantly enhances the MLLM's multimodal capabilities and task-specific performance. Through multi-task co-training within TPO, we observe synergistic benefits that elevate individual task performance beyond what is achievable through single-task training methodologies. Our instantiation of this approach with VideoChat and LLaVA demonstrates an overall 14.6% improvement in multimodal performance compared to baseline models. Additionally, MLLM-TPO demonstrates robust zero-shot capabilities across various tasks, performing comparably to state-of-the-art supervised models. The code will be released at https://github.com/OpenGVLab/TPO