Aufgabenpräferenzoptimierung: Verbesserung von multimodalen großen Sprachmodellen mit Vision Task Alignment

Zusammenfassung

Aktuelle multimodale große Sprachmodelle (MLLMs) haben Schwierigkeiten mit der feinkörnigen oder präzisen Erfassung von visuellen Inhalten, obwohl sie ein umfassendes Verständnis und eine Argumentation in einem breiten Spektrum von Anwendungen im Bereich der Bildverarbeitung bieten. In jüngsten Studien wurden entweder Werkzeuge entwickelt oder spezifische visuelle Aufgaben in das autoregressive Framework integriert, oft auf Kosten der Gesamtleistung der multimodalen Modelle. Um dieses Problem anzugehen und MLLMs auf skalierbare Weise mit visuellen Aufgaben zu verbessern, schlagen wir die Methode der Task-Präferenz-Optimierung (TPO) vor, die auf differenzierbaren Aufgabenvorlieben basiert, die von typischen feinkörnigen visuellen Aufgaben abgeleitet sind. TPO führt lernbare Aufgabentoken ein, die Verbindungen zwischen mehreren aufgabenbezogenen Köpfen und dem MLLM herstellen. Durch die Nutzung von umfangreichen visuellen Labels während des Trainings verbessert TPO signifikant die multimodalen Fähigkeiten des MLLMs und die aufgabenbezogene Leistung. Durch das Co-Training mehrerer Aufgaben innerhalb von TPO beobachten wir synergistische Vorteile, die die Leistung einzelner Aufgaben über das hinaus steigern, was durch Einzelaufgabentrainingsmethoden erreichbar ist. Unsere Umsetzung dieses Ansatzes mit VideoChat und LLaVA zeigt eine insgesamt um 14,6 % verbesserte multimodale Leistung im Vergleich zu Basismodellen. Darüber hinaus zeigt MLLM-TPO robuste Zero-Shot-Fähigkeiten über verschiedene Aufgaben hinweg und liefert vergleichbare Ergebnisse wie modernste überwachte Modelle. Der Code wird unter https://github.com/OpenGVLab/TPO veröffentlicht.

English

Current multimodal large language models (MLLMs) struggle with fine-grained or precise understanding of visuals though they give comprehensive perception and reasoning in a spectrum of vision applications. Recent studies either develop tool-using or unify specific visual tasks into the autoregressive framework, often at the expense of overall multimodal performance. To address this issue and enhance MLLMs with visual tasks in a scalable fashion, we propose Task Preference Optimization (TPO), a novel method that utilizes differentiable task preferences derived from typical fine-grained visual tasks. TPO introduces learnable task tokens that establish connections between multiple task-specific heads and the MLLM. By leveraging rich visual labels during training, TPO significantly enhances the MLLM's multimodal capabilities and task-specific performance. Through multi-task co-training within TPO, we observe synergistic benefits that elevate individual task performance beyond what is achievable through single-task training methodologies. Our instantiation of this approach with VideoChat and LLaVA demonstrates an overall 14.6% improvement in multimodal performance compared to baseline models. Additionally, MLLM-TPO demonstrates robust zero-shot capabilities across various tasks, performing comparably to state-of-the-art supervised models. The code will be released at https://github.com/OpenGVLab/TPO

Aufgabenpräferenzoptimierung: Verbesserung von multimodalen großen Sprachmodellen mit Vision Task Alignment

Task Preference Optimization: Improving Multimodal Large Language Models with Vision Task Alignment

Zusammenfassung

Support