De Generalista a Especialista: Adaptando Modelos de Lenguaje Visual a través de Ajuste de Instrucciones Visuales Específicas de Tarea

From Generalist to Specialist: Adapting Vision Language Models via Task-Specific Visual Instruction Tuning

October 9, 2024

Autores: Yang Bai, Yang Zhou, Jun Zhou, Rick Siow Mong Goh, Daniel Shu Wei Ting, Yong Liu

cs.AI

Resumen

Los modelos de lenguaje de visión a gran escala (VLMs) combinan grandes modelos de lenguaje con codificadores de visión, demostrando promesa en diversas tareas. Sin embargo, a menudo tienen un rendimiento inferior en aplicaciones específicas de tareas debido a las brechas de dominio entre el preentrenamiento y el ajuste fino. Presentamos VITask, un nuevo marco que mejora la adaptabilidad específica de la tarea de los VLMs mediante la integración de modelos específicos de la tarea (TSMs). VITask emplea tres estrategias clave: el estímulo de ejemplos (EP), la alineación de distribución de respuestas (RDA) y el ajuste de respuestas contrastivas (CRT) para mejorar el rendimiento específico de la tarea de los VLMs ajustando sus distribuciones de respuestas. EP permite que las características de TSM guíen a los VLMs, mientras que RDA permite que los VLMs se adapten sin TSMs durante la inferencia aprendiendo de modelos estimulados por ejemplos. CRT optimiza aún más la clasificación de pares de imagen-respuesta correctos, reduciendo así el riesgo de generar respuestas no deseadas. Experimentos en 12 conjuntos de datos de diagnóstico médico en 9 modalidades de imágenes muestran que VITask supera tanto a los VLMs ajustados con instrucciones básicas como a los TSMs, demostrando su capacidad para integrar de manera efectiva características complementarias de ambos modelos. Además, VITask ofrece ventajas prácticas como la integración flexible de TSM y la robustez a instrucciones incompletas, convirtiéndolo en una solución versátil y eficiente para el ajuste específico de VLMs para tareas. Nuestro código está disponible en https://github.com/baiyang4/VITask.

English

Large vision language models (VLMs) combine large language models with vision encoders, demonstrating promise across various tasks. However, they often underperform in task-specific applications due to domain gaps between pre-training and fine-tuning. We introduce VITask, a novel framework that enhances task-specific adaptability of VLMs by integrating task-specific models (TSMs). VITask employs three key strategies: exemplar prompting (EP), response distribution alignment (RDA), and contrastive response tuning (CRT) to improve the task-specific performance of VLMs by adjusting their response distributions. EP allows TSM features to guide VLMs, while RDA enables VLMs to adapt without TSMs during inference by learning from exemplar-prompted models. CRT further optimizes the ranking of correct image-response pairs, thereby reducing the risk of generating undesired responses. Experiments on 12 medical diagnosis datasets across 9 imaging modalities show that VITask outperforms both vanilla instruction-tuned VLMs and TSMs, showcasing its ability to integrate complementary features from both models effectively. Additionally, VITask offers practical advantages such as flexible TSM integration and robustness to incomplete instructions, making it a versatile and efficient solution for task-specific VLM tuning. Our code are available at https://github.com/baiyang4/VITask.