De Généraliste à Spécialiste : Adapter les Modèles de Langage Visuel via l'Ajustement d'Instructions Visuelles Spécifiques à la Tâche

From Generalist to Specialist: Adapting Vision Language Models via Task-Specific Visual Instruction Tuning

October 9, 2024

Auteurs: Yang Bai, Yang Zhou, Jun Zhou, Rick Siow Mong Goh, Daniel Shu Wei Ting, Yong Liu

cs.AI

Résumé

Les grands modèles de langage vision (VLM), qui combinent de grands modèles de langage avec des encodeurs visuels, montrent des promesses dans diverses tâches. Cependant, ils ont souvent des performances inférieures dans des applications spécifiques en raison des écarts de domaine entre la pré-formation et l'optimisation fine. Nous introduisons VITask, un nouveau cadre qui améliore l'adaptabilité spécifique à la tâche des VLM en intégrant des modèles spécifiques à la tâche (TSM). VITask utilise trois stratégies clés : l'incitation par exemple (EP), l'alignement de la distribution des réponses (RDA) et l'ajustement contrastif des réponses (CRT) pour améliorer les performances spécifiques à la tâche des VLM en ajustant leurs distributions de réponses. EP permet aux caractéristiques des TSM de guider les VLM, tandis que RDA permet aux VLM de s'adapter sans les TSM lors de l'inférence en apprenant des modèles incités par des exemples. CRT optimise en outre le classement des paires image-réponse correctes, réduisant ainsi le risque de générer des réponses indésirables. Des expériences sur 12 ensembles de données de diagnostic médical couvrant 9 modalités d'imagerie montrent que VITask surpasse à la fois les VLMs accordés aux instructions de base et les TSM, démontrant sa capacité à intégrer efficacement des caractéristiques complémentaires des deux modèles. De plus, VITask offre des avantages pratiques tels qu'une intégration flexible des TSM et une robustesse aux instructions incomplètes, en faisant une solution polyvalente et efficace pour l'optimisation des VLM spécifiques à la tâche. Notre code est disponible sur https://github.com/baiyang4/VITask.

English

Large vision language models (VLMs) combine large language models with vision encoders, demonstrating promise across various tasks. However, they often underperform in task-specific applications due to domain gaps between pre-training and fine-tuning. We introduce VITask, a novel framework that enhances task-specific adaptability of VLMs by integrating task-specific models (TSMs). VITask employs three key strategies: exemplar prompting (EP), response distribution alignment (RDA), and contrastive response tuning (CRT) to improve the task-specific performance of VLMs by adjusting their response distributions. EP allows TSM features to guide VLMs, while RDA enables VLMs to adapt without TSMs during inference by learning from exemplar-prompted models. CRT further optimizes the ranking of correct image-response pairs, thereby reducing the risk of generating undesired responses. Experiments on 12 medical diagnosis datasets across 9 imaging modalities show that VITask outperforms both vanilla instruction-tuned VLMs and TSMs, showcasing its ability to integrate complementary features from both models effectively. Additionally, VITask offers practical advantages such as flexible TSM integration and robustness to incomplete instructions, making it a versatile and efficient solution for task-specific VLM tuning. Our code are available at https://github.com/baiyang4/VITask.