Da Generalista a Specialist: Adattamento dei Modelli di Linguaggio Visivo tramite Sintonizzazione delle Istruzioni Visive Specifiche del Compito

From Generalist to Specialist: Adapting Vision Language Models via Task-Specific Visual Instruction Tuning

October 9, 2024

Autori: Yang Bai, Yang Zhou, Jun Zhou, Rick Siow Mong Goh, Daniel Shu Wei Ting, Yong Liu

cs.AI

Abstract

I grandi modelli di linguaggio per la visione (VLM) combinano grandi modelli di linguaggio con codificatori di visione, mostrando promesse in varie attività. Tuttavia, spesso hanno prestazioni inferiori nelle applicazioni specifiche del compito a causa delle differenze di dominio tra la preformazione e il raffinamento. Presentiamo VITask, un nuovo framework che migliora l'adattabilità specifica del compito dei VLM integrando modelli specifici del compito (TSM). VITask utilizza tre strategie chiave: sollecitazione di esempi (EP), allineamento della distribuzione delle risposte (RDA) e ottimizzazione della risposta contrastiva (CRT) per migliorare le prestazioni specifiche del compito dei VLM regolando le loro distribuzioni di risposta. EP consente alle caratteristiche di TSM di guidare i VLM, mentre RDA consente ai VLM di adattarsi senza TSM durante l'inferenza apprendendo dai modelli sollecitati da esempi. CRT ottimizza ulteriormente il posizionamento delle coppie immagine-risposta corrette, riducendo così il rischio di generare risposte indesiderate. Gli esperimenti su 12 set di dati diagnostici medici attraverso 9 modalità di imaging mostrano che VITask supera sia i VLM sintonizzati con istruzioni di base che i TSM, dimostrando la sua capacità di integrare in modo efficace le caratteristiche complementari di entrambi i modelli. Inoltre, VITask offre vantaggi pratici come l'integrazione flessibile di TSM e la robustezza alle istruzioni incomplete, rendendolo una soluzione versatile ed efficiente per il raffinamento specifico del compito dei VLM. Il nostro codice è disponibile su https://github.com/baiyang4/VITask.

English

Large vision language models (VLMs) combine large language models with vision encoders, demonstrating promise across various tasks. However, they often underperform in task-specific applications due to domain gaps between pre-training and fine-tuning. We introduce VITask, a novel framework that enhances task-specific adaptability of VLMs by integrating task-specific models (TSMs). VITask employs three key strategies: exemplar prompting (EP), response distribution alignment (RDA), and contrastive response tuning (CRT) to improve the task-specific performance of VLMs by adjusting their response distributions. EP allows TSM features to guide VLMs, while RDA enables VLMs to adapt without TSMs during inference by learning from exemplar-prompted models. CRT further optimizes the ranking of correct image-response pairs, thereby reducing the risk of generating undesired responses. Experiments on 12 medical diagnosis datasets across 9 imaging modalities show that VITask outperforms both vanilla instruction-tuned VLMs and TSMs, showcasing its ability to integrate complementary features from both models effectively. Additionally, VITask offers practical advantages such as flexible TSM integration and robustness to incomplete instructions, making it a versatile and efficient solution for task-specific VLM tuning. Our code are available at https://github.com/baiyang4/VITask.