信じるべきか、それとも信じないべきか：あなたの視覚言語モデルの予測を

To Trust Or Not To Trust Your Vision-Language Model's Prediction

May 29, 2025

著者: Hao Dong, Moru Liu, Jian Liang, Eleni Chatzi, Olga Fink

cs.AI

要旨

Vision-Language Models（VLMs）は、視覚とテキストのモダリティを整合させる強力な能力を示し、マルチモーダル理解と生成における幅広い応用を可能にしています。ゼロショット学習や転移学習のシナリオで優れた性能を発揮する一方で、VLMsは誤分類に対して脆弱であり、しばしば自信過剰な誤った予測を生成します。この制約は、誤った予測が重大な結果を招く可能性のある安全クリティカルな領域において、重要なリスクをもたらします。本研究では、VLMの予測が信頼できるかどうかを推定するという重要な課題に対処するために、トレーニング不要のフレームワークであるTrustVLMを提案します。VLMsにおけるモダリティギャップの観察と、特定の概念が画像埋め込み空間においてより明確に表現されるという洞察に基づき、この空間を活用して誤分類検出を改善する新しい信頼度スコアリング関数を提案します。我々は、17の多様なデータセット、4つのアーキテクチャ、および2つのVLMを用いて、提案手法を厳密に評価し、既存のベースラインと比較してAURCで最大51.87%、AUROCで9.14%、FPR95で32.42%の改善を示し、最先端の性能を実証しました。再トレーニングを必要とせずにモデルの信頼性を向上させることで、TrustVLMは現実世界のアプリケーションにおけるVLMsのより安全な展開の道を開きます。コードはhttps://github.com/EPFL-IMOS/TrustVLMで公開予定です。

English

Vision-Language Models (VLMs) have demonstrated strong capabilities in aligning visual and textual modalities, enabling a wide range of applications in multimodal understanding and generation. While they excel in zero-shot and transfer learning scenarios, VLMs remain susceptible to misclassification, often yielding confident yet incorrect predictions. This limitation poses a significant risk in safety-critical domains, where erroneous predictions can lead to severe consequences. In this work, we introduce TrustVLM, a training-free framework designed to address the critical challenge of estimating when VLM's predictions can be trusted. Motivated by the observed modality gap in VLMs and the insight that certain concepts are more distinctly represented in the image embedding space, we propose a novel confidence-scoring function that leverages this space to improve misclassification detection. We rigorously evaluate our approach across 17 diverse datasets, employing 4 architectures and 2 VLMs, and demonstrate state-of-the-art performance, with improvements of up to 51.87% in AURC, 9.14% in AUROC, and 32.42% in FPR95 compared to existing baselines. By improving the reliability of the model without requiring retraining, TrustVLM paves the way for safer deployment of VLMs in real-world applications. The code will be available at https://github.com/EPFL-IMOS/TrustVLM.