Zu vertrauen oder nicht zu vertrauen: Die Vorhersage Ihres Vision-Sprache-Modells

To Trust Or Not To Trust Your Vision-Language Model's Prediction

May 29, 2025

Autoren: Hao Dong, Moru Liu, Jian Liang, Eleni Chatzi, Olga Fink

cs.AI

Zusammenfassung

Vision-Language-Modelle (VLMs) haben starke Fähigkeiten bei der Ausrichtung visueller und textueller Modalitäten gezeigt, was eine Vielzahl von Anwendungen im Bereich des multimodalen Verstehens und der Generierung ermöglicht. Obwohl sie in Zero-Shot- und Transfer-Learning-Szenarien hervorragend abschneiden, bleiben VLMs anfällig für Fehlklassifizierungen und liefern oft zuversichtliche, aber falsche Vorhersagen. Diese Einschränkung stellt ein erhebliches Risiko in sicherheitskritischen Bereichen dar, in denen fehlerhafte Vorhersagen schwerwiegende Folgen haben können. In dieser Arbeit stellen wir TrustVLM vor, ein trainingsfreies Framework, das die kritische Herausforderung der Schätzung, wann den Vorhersagen eines VLM vertraut werden kann, adressiert. Motiviert durch die beobachtete Modality Gap in VLMs und der Erkenntnis, dass bestimmte Konzepte im Bild-Einbettungsraum deutlicher repräsentiert sind, schlagen wir eine neuartige Confidence-Scoring-Funktion vor, die diesen Raum nutzt, um die Erkennung von Fehlklassifizierungen zu verbessern. Wir evaluieren unseren Ansatz rigoros über 17 verschiedene Datensätze, unter Verwendung von 4 Architekturen und 2 VLMs, und demonstrieren state-of-the-art Leistungen mit Verbesserungen von bis zu 51,87 % in AURC, 9,14 % in AUROC und 32,42 % in FPR95 im Vergleich zu bestehenden Baselines. Durch die Verbesserung der Zuverlässigkeit des Modells ohne erneutes Training ebnet TrustVLM den Weg für einen sichereren Einsatz von VLMs in realen Anwendungen. Der Code wird unter https://github.com/EPFL-IMOS/TrustVLM verfügbar sein.

English

Vision-Language Models (VLMs) have demonstrated strong capabilities in aligning visual and textual modalities, enabling a wide range of applications in multimodal understanding and generation. While they excel in zero-shot and transfer learning scenarios, VLMs remain susceptible to misclassification, often yielding confident yet incorrect predictions. This limitation poses a significant risk in safety-critical domains, where erroneous predictions can lead to severe consequences. In this work, we introduce TrustVLM, a training-free framework designed to address the critical challenge of estimating when VLM's predictions can be trusted. Motivated by the observed modality gap in VLMs and the insight that certain concepts are more distinctly represented in the image embedding space, we propose a novel confidence-scoring function that leverages this space to improve misclassification detection. We rigorously evaluate our approach across 17 diverse datasets, employing 4 architectures and 2 VLMs, and demonstrate state-of-the-art performance, with improvements of up to 51.87% in AURC, 9.14% in AUROC, and 32.42% in FPR95 compared to existing baselines. By improving the reliability of the model without requiring retraining, TrustVLM paves the way for safer deployment of VLMs in real-world applications. The code will be available at https://github.com/EPFL-IMOS/TrustVLM.