Van Generalist tot Specialist: Het Aanpassen van Visie Taalmodellen via Taak-Specifieke Visuele Instructie Afstelling.

From Generalist to Specialist: Adapting Vision Language Models via Task-Specific Visual Instruction Tuning

October 9, 2024

Auteurs: Yang Bai, Yang Zhou, Jun Zhou, Rick Siow Mong Goh, Daniel Shu Wei Ting, Yong Liu

cs.AI

Samenvatting

Grote visie-taalmodellen (VLM's) combineren grote taalmodellen met visuele encoders en tonen veelbelovende resultaten bij verschillende taken. Echter, ze presteren vaak ondermaats bij taakspecifieke toepassingen vanwege domeinverschillen tussen pre-training en fine-tuning. Wij introduceren VITask, een nieuw raamwerk dat de taakspecifieke aanpasbaarheid van VLM's verbetert door taakspecifieke modellen (TSM's) te integreren. VITask maakt gebruik van drie belangrijke strategieën: voorbeeldprompting (EP), uitlijning van responsverdeling (RDA) en contrastieve responsafstemming (CRT) om de taakspecifieke prestaties van VLM's te verbeteren door hun responsverdelingen aan te passen. EP stelt TSM-kenmerken in staat om VLM's te begeleiden, terwijl RDA VLM's in staat stelt om zich aan te passen zonder TSM's tijdens inferentie door te leren van voorbeeld-geprompte modellen. CRT optimaliseert verder de rangschikking van juiste beeldresponsparen, waardoor het risico op het genereren van ongewenste reacties wordt verminderd. Experimenten op 12 medische diagnose datasets over 9 beeldvormingsmodaliteiten tonen aan dat VITask zowel standaard instructie-afgestemde VLM's als TSM's overtreft, waarbij het vermogen wordt gedemonstreerd om effectief complementaire kenmerken van beide modellen te integreren. Bovendien biedt VITask praktische voordelen zoals flexibele TSM-integratie en robuustheid tegen onvolledige instructies, waardoor het een veelzijdige en efficiënte oplossing is voor taakspecifieke VLM-afstemming. Onze code is beschikbaar op https://github.com/baiyang4/VITask.

English

Large vision language models (VLMs) combine large language models with vision encoders, demonstrating promise across various tasks. However, they often underperform in task-specific applications due to domain gaps between pre-training and fine-tuning. We introduce VITask, a novel framework that enhances task-specific adaptability of VLMs by integrating task-specific models (TSMs). VITask employs three key strategies: exemplar prompting (EP), response distribution alignment (RDA), and contrastive response tuning (CRT) to improve the task-specific performance of VLMs by adjusting their response distributions. EP allows TSM features to guide VLMs, while RDA enables VLMs to adapt without TSMs during inference by learning from exemplar-prompted models. CRT further optimizes the ranking of correct image-response pairs, thereby reducing the risk of generating undesired responses. Experiments on 12 medical diagnosis datasets across 9 imaging modalities show that VITask outperforms both vanilla instruction-tuned VLMs and TSMs, showcasing its ability to integrate complementary features from both models effectively. Additionally, VITask offers practical advantages such as flexible TSM integration and robustness to incomplete instructions, making it a versatile and efficient solution for task-specific VLM tuning. Our code are available at https://github.com/baiyang4/VITask.