От общего к специализированному: адаптация моделей языка зрения через настройку задачи-специфичных визуальных инструкций.

From Generalist to Specialist: Adapting Vision Language Models via Task-Specific Visual Instruction Tuning

October 9, 2024

Авторы: Yang Bai, Yang Zhou, Jun Zhou, Rick Siow Mong Goh, Daniel Shu Wei Ting, Yong Liu

cs.AI

Аннотация

Большие модели языкового видения (VLM) объединяют в себе большие языковые модели с визионными кодировщиками, демонстрируя потенциал в различных задачах. Однако они часто показывают недостаточную производительность в задачах из-за разрывов в домене между предварительным обучением и настройкой под конкретную задачу. Мы представляем VITask, новую структуру, которая улучшает адаптивность к задаче у VLM путем интеграции моделей, специфичных для задачи (TSM). VITask использует три ключевые стратегии: примерное подсказывание (EP), выравнивание распределения ответов (RDA) и контрастная настройка ответов (CRT) для улучшения задачной производительности VLM путем корректировки их распределений ответов. EP позволяет признакам TSM направлять VLM, в то время как RDA позволяет VLM адаптироваться без TSM во время вывода, обучаясь на моделях, подсказанных примерами. CRT дополнительно оптимизирует ранжирование правильных пар изображение-ответ, тем самым снижая риск генерации нежелательных ответов. Эксперименты на 12 наборах данных по медицинской диагностике по 9 модальностям изображений показывают, что VITask превосходит как обычные VLM, настроенные по инструкции, так и TSM, демонстрируя его способность эффективно интегрировать дополняющие признаки обеих моделей. Кроме того, VITask предлагает практические преимущества, такие как гибкая интеграция TSM и устойчивость к неполным инструкциям, делая его универсальным и эффективным решением для настройки VLM под конкретную задачу. Наш код доступен по адресу https://github.com/baiyang4/VITask.

English

Large vision language models (VLMs) combine large language models with vision encoders, demonstrating promise across various tasks. However, they often underperform in task-specific applications due to domain gaps between pre-training and fine-tuning. We introduce VITask, a novel framework that enhances task-specific adaptability of VLMs by integrating task-specific models (TSMs). VITask employs three key strategies: exemplar prompting (EP), response distribution alignment (RDA), and contrastive response tuning (CRT) to improve the task-specific performance of VLMs by adjusting their response distributions. EP allows TSM features to guide VLMs, while RDA enables VLMs to adapt without TSMs during inference by learning from exemplar-prompted models. CRT further optimizes the ranking of correct image-response pairs, thereby reducing the risk of generating undesired responses. Experiments on 12 medical diagnosis datasets across 9 imaging modalities show that VITask outperforms both vanilla instruction-tuned VLMs and TSMs, showcasing its ability to integrate complementary features from both models effectively. Additionally, VITask offers practical advantages such as flexible TSM integration and robustness to incomplete instructions, making it a versatile and efficient solution for task-specific VLM tuning. Our code are available at https://github.com/baiyang4/VITask.