Vom Generalisten zum Spezialisten: Anpassung von Vision-Sprachmodellen durch Aufgabenspezifisches visuelles Anweisungstiming.

From Generalist to Specialist: Adapting Vision Language Models via Task-Specific Visual Instruction Tuning

October 9, 2024

Autoren: Yang Bai, Yang Zhou, Jun Zhou, Rick Siow Mong Goh, Daniel Shu Wei Ting, Yong Liu

cs.AI

Zusammenfassung

Große Vision-Sprachmodelle (VLMs) kombinieren große Sprachmodelle mit Bildcodierern und zeigen vielversprechende Ergebnisse in verschiedenen Aufgaben. Allerdings erzielen sie oft unterdurchschnittliche Leistungen in aufgabenspezifischen Anwendungen aufgrund von Domänenlücken zwischen der Vorabtrainierung und Feinabstimmung. Wir stellen VITask vor, ein neuartiges Framework, das die aufgabenspezifische Anpassungsfähigkeit von VLMs durch die Integration aufgabenspezifischer Modelle (TSMs) verbessert. VITask verwendet drei Schlüsselstrategien: Beispielprompting (EP), Ausrichtung der Antwortverteilung (RDA) und kontrastive Antwortabstimmung (CRT), um die aufgabenspezifische Leistung von VLMs zu verbessern, indem ihre Antwortverteilungen angepasst werden. EP ermöglicht es TSM-Merkmalen, VLMs zu führen, während RDA es VLMs ermöglicht, sich ohne TSMs während der Inferenz anzupassen, indem sie von beispielgeführten Modellen lernen. CRT optimiert weiterhin das Ranking von korrekten Bild-Antwort-Paaren, wodurch das Risiko der Erzeugung unerwünschter Antworten verringert wird. Experimente mit 12 medizinischen Diagnosedatensätzen über 9 Bildgebungsmodalitäten zeigen, dass VITask sowohl einfache anweisungsgesteuerte VLMs als auch TSMs übertrifft und damit seine Fähigkeit unterstreicht, effektiv ergänzende Merkmale beider Modelle zu integrieren. Darüber hinaus bietet VITask praktische Vorteile wie flexible TSM-Integration und Robustheit gegenüber unvollständigen Anweisungen, was es zu einer vielseitigen und effizienten Lösung für die aufgabenspezifische Feinabstimmung von VLMs macht. Unser Code ist verfügbar unter https://github.com/baiyang4/VITask.

English

Large vision language models (VLMs) combine large language models with vision encoders, demonstrating promise across various tasks. However, they often underperform in task-specific applications due to domain gaps between pre-training and fine-tuning. We introduce VITask, a novel framework that enhances task-specific adaptability of VLMs by integrating task-specific models (TSMs). VITask employs three key strategies: exemplar prompting (EP), response distribution alignment (RDA), and contrastive response tuning (CRT) to improve the task-specific performance of VLMs by adjusting their response distributions. EP allows TSM features to guide VLMs, while RDA enables VLMs to adapt without TSMs during inference by learning from exemplar-prompted models. CRT further optimizes the ranking of correct image-response pairs, thereby reducing the risk of generating undesired responses. Experiments on 12 medical diagnosis datasets across 9 imaging modalities show that VITask outperforms both vanilla instruction-tuned VLMs and TSMs, showcasing its ability to integrate complementary features from both models effectively. Additionally, VITask offers practical advantages such as flexible TSM integration and robustness to incomplete instructions, making it a versatile and efficient solution for task-specific VLM tuning. Our code are available at https://github.com/baiyang4/VITask.