Доверять или не доверять предсказаниям вашей визуально-языковой модели

To Trust Or Not To Trust Your Vision-Language Model's Prediction

May 29, 2025

Авторы: Hao Dong, Moru Liu, Jian Liang, Eleni Chatzi, Olga Fink

cs.AI

Аннотация

Модели, объединяющие зрение и язык (Vision-Language Models, VLMs), продемонстрировали высокие способности в согласовании визуальных и текстовых модальностей, что открывает широкие возможности для применения в задачах многомодального понимания и генерации. Несмотря на их эффективность в сценариях обучения с нуля и трансферного обучения, VLMs остаются уязвимыми к ошибкам классификации, часто выдавая уверенные, но некорректные предсказания. Это ограничение представляет значительный риск в критически важных для безопасности областях, где ошибочные предсказания могут привести к серьезным последствиям. В данной работе мы представляем TrustVLM — не требующий дополнительного обучения фреймворк, разработанный для решения ключевой задачи оценки надежности предсказаний VLMs. Вдохновленные наблюдаемым разрывом между модальностями в VLMs и инсайтом, что определенные концепции более четко представлены в пространстве изображений, мы предлагаем новую функцию оценки уверенности, которая использует это пространство для улучшения обнаружения ошибок классификации. Мы тщательно оцениваем наш подход на 17 разнообразных наборах данных, используя 4 архитектуры и 2 VLMs, и демонстрируем передовые результаты с улучшением до 51,87% в AURC, 9,14% в AUROC и 32,42% в FPR95 по сравнению с существующими базовыми методами. Улучшая надежность модели без необходимости переобучения, TrustVLM прокладывает путь для более безопасного внедрения VLMs в реальных приложениях. Код будет доступен по адресу https://github.com/EPFL-IMOS/TrustVLM.

English

Vision-Language Models (VLMs) have demonstrated strong capabilities in aligning visual and textual modalities, enabling a wide range of applications in multimodal understanding and generation. While they excel in zero-shot and transfer learning scenarios, VLMs remain susceptible to misclassification, often yielding confident yet incorrect predictions. This limitation poses a significant risk in safety-critical domains, where erroneous predictions can lead to severe consequences. In this work, we introduce TrustVLM, a training-free framework designed to address the critical challenge of estimating when VLM's predictions can be trusted. Motivated by the observed modality gap in VLMs and the insight that certain concepts are more distinctly represented in the image embedding space, we propose a novel confidence-scoring function that leverages this space to improve misclassification detection. We rigorously evaluate our approach across 17 diverse datasets, employing 4 architectures and 2 VLMs, and demonstrate state-of-the-art performance, with improvements of up to 51.87% in AURC, 9.14% in AUROC, and 32.42% in FPR95 compared to existing baselines. By improving the reliability of the model without requiring retraining, TrustVLM paves the way for safer deployment of VLMs in real-world applications. The code will be available at https://github.com/EPFL-IMOS/TrustVLM.